Hive ডাইনামিক পার্টিশনিং দক্ষতা অর্জন: দ্রুত কোয়ারির জন্য স্বয়ংক্রিয় ডেটা সেগমেন্টেশন

Apache Hive Hadoop-র ওপর বিল্ট একটি ডেটা ওয়্যারহাউসিং সিস্টেম অ্যানালিটিক্স এবং MapReduce জবের জন্য। পার্টিশনিং বড় ডেটাসেটকে ছোট অংশে ভাগ করে দ্রুত কোয়ারির জন্য। ডাইনামিক পার্টিশনিং ডেটা ইনসার্ট হওয়ার সময় পার্টিশন ভ্যালু স্বয়ংক্রিয়ভাবে নির্ধারণ করে, স্ট্যাটিক পার্টিশনিং-এর বিপরীতে যেখানে ভ্যালু ম্যানুয়ালি স্পেসিফাই করতে হয়।

স্ট্যাটিক বনাম ডাইনামিক পার্টিশনিং

ডাইনামিক পার্টিশনিং সক্ষম করা

SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

সম্পূর্ণ উদাহরণ

একটি সোর্স টেবিল তৈরি করুন, ডেটা লোড করুন, তারপর ডাইনামিক্যালি পার্টিশন করুন:

-- Step 1: Create source table
CREATE TABLE sales_raw (
  id INT, product STRING, amount DOUBLE, sale_date STRING, country STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

-- Step 2: Load data
LOAD DATA LOCAL INPATH '/home/data/sales.csv' INTO TABLE sales_raw;

-- Step 3: Create partitioned table
CREATE TABLE sales_partitioned (
  id INT, product STRING, amount DOUBLE, sale_date STRING
) PARTITIONED BY (country STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

-- Step 4: Insert with dynamic partitioning
INSERT INTO TABLE sales_partitioned PARTITION (country)
SELECT id, product, amount, sale_date, country FROM sales_raw;

Hive স্বয়ংক্রিয়ভাবে পার্টিশন ডিরেক্টরি তৈরি করে সোর্স ডেটাতে স্বতন্ত্র country ভ্যালুসের ভিত্তিতে।

পার্টিশন ম্যানেজ করা

-- View partitions
SHOW PARTITIONS sales_partitioned;
-- Query specific partition (partition pruning)
SELECT * FROM sales_partitioned WHERE country = 'India';
-- Drop a partition
ALTER TABLE sales_partitioned DROP PARTITION (country = 'India');

উপসংহার

Hive-এ ডাইনামিক পার্টিশনিং INSERT করার সময় ডেটা ভ্যালু থেকে স্বয়ংক্রিয়ভাবে পার্টিশন তৈরি করে, প্রতিটি পার্টিশন ম্যানুয়ালি স্পেসিফাই করার প্রয়োজনীয়তা দূর করে। এটি অনেক স্বতন্ত্র পার্টিশন ভ্যালু বিশিষ্ট বড় ডেটাসেটের জন্য আদর্শ, পার্টিশন প্রুনিং-এর মাধ্যমে কোয়ারি পারফরম্যান্স উন্নত করে এবং ম্যানুয়াল প্রচেষ্টা কমায়।