বিশাল ডেটাবেসে ডেটা মাইনিং প্রয়োগ করা হয়। যখন প্রচুর পরিমাণ ডেটায় অ্যানালাইসিস ও মাইনিং করা হয়, তখন এটি খুব বেশি সময় নেয়, যা অপ্র্যাকটিক্যাল ও অসম্ভব করে তোলে। ডেটা অ্যানালাইসিসের প্রসেসিং টাইম কমাতে ডেটা রিডাকশন কৌশলগুলো ব্যবহার করা হয় যাতে মূল ডেটার অখণ্ডতা রক্ষা করে ডেটাসেটের একটি কম আকারের রিপ্রেজেন্টেশন পাওয়া যায়। ডেটা কমিয়ে আনলে ডেটা মাইনিং প্রক্রিয়ার দক্ষতা বেড়ে যায় যা একই অ্যানালিটিক্যাল ফলাফল দেয়।
ডেটা রিডাকশন এর লক্ষ্য ডেটাকে আরও সংক্ষিপ্তভাবে সংজ্ঞায়িত করা। যখন ডেটার আকার ছোট হয়, তখন জটিল এবং কম্পিউটেশনালি ব্যয়বহুল অ্যালগরিদম প্রয়োগ করা সহজ হয়। ডেটা রিডাকশন হয় রো (রেকর্ড) সংখ্যা বা কলাম (ডাইমেনশন) সংখ্যা কমাতে।
ডেটা রিডাকশনের কৌশলগুলো
ডেটা কিউব অ্যাগ্রিগেশন (Data Cube Aggregation)
এই পদ্ধতিতে ডেটা কিউব নির্মাণে ডেটার ওপর অ্যাগ্রিগেশন অপারেশন প্রয়োগ করা হয়। উদাহরণস্বরূপ, ২০০২ থেকে ২০০৪ വര্ষের অল ইলেকট্রনিক্সের কোয়ার্টার অনুযায়ী বিক্রয় ডেটা থাকে। আমরা বার্ষিক বিক্রয় (বছরে মোট) জানতে চাই, কোয়ার্টার অনুযায়ী মোট নয়। তাই ডেটা অ্যাগ্রিগেট করা হয় যাতে ফলাফল বছরে মোট বিক্রয় সারমর্ম করা হয়, কোয়ার্টার অনুযায়ী নয়। ফলস্বরূপ ডেটাসেট ছোট হয়, কিন্তু অ্যানালাইসিস টাস্কের জন্য জরুরি তথ্য হারায় না।
অ্যাট্রিবিউট সাবসেট সিলেকশন (Attribute Subset Selection)
এই পদ্ধতিতে অপ্রাসঙ্গিক, দুর্বলভাবে প্রাসঙ্গিক, বা রিডান্ডান্ট অ্যাট্রিবিউট বা ডাইমেনশন চিহ্নিত ও অপসারণ করা হয়। অ্যানালাইসিসের ডেটাসেটে শতকরা অ্যাট্রিবিউট থাকতে পারে, जिनमें কিছু মাইনিং টাস্কের জন্য অপ্রাসঙ্গিক বা রিডান্ডান্ট হতে পারে। উদাহরণস্বরূপ, যদি টাস্ক হয় কাস্টমারকে শ্রেণিবদ্ধ করা যে সেল הודيعিত হলে পপুলার নতুন সিডি কেনবে কিনা, তবে কাস্টমারের টেলিফোন নম্বর সম্ভবত অপ্রাসঙ্গিক, বয়স বা মিউজিক_টেস্টের বিপরীতে।
ডায়মেনশন্যালিটি রিডাকশন (Dimensionality Reduction)
এনকোডিং মেকানিজম ব্যবহার করে ডেটাসেটের আকার কমানো হয়। ডায়মেনশন্যালিটি রিডাকশনে ডেটা এনকোডিং বা ট্রান্সফরমেশন প্রয়োগ করে মূল ডেটার একটি সংক্ষিপ্ত বা "কম্প্রেসড" রিপ্রেজেন্টেশন পাওয়া যায়। যদি কম্প্রেসড ডেটা থেকে মূল ডেটা কোনো তথ্য হারানো ছাড়া পুনর্গঠিত করা যায়, তবে ডেটা রিডাকশনকে লসলেস বলা হয়।
নিউমেরোসিটি রিডাকশন (Numerosity Reduction)
ডেটাকে বিকল্প, ছোট ডেটা রিপ্রেজেন্টেশন দিয়ে রিপ্লেস বা প্রেডিক্ট করা হয়—যেমন প্যারামেট্রিক মডেল (যেখানে শুধু মডেল প্যারামিটার সংরক্ষণ করা হয়, প্রকৃত ডেটা নয়) বা নন-প্যারামেট্রিক পদ্ধতি (যেমন ক্লাস্টারিং, স্যাম্পলিং, এবং هستোগ্রামের ব্যবহার)।
ডিসক্রেটাইজেশন ও কনসেপ্ট হায়ারার্কি জেনারেশন (Discretization and Concept Hierarchy Generation)
এই পদ্ধতিতে অ্যাট্রিবিউটের কাঁচা ডেটা মানগুলো রেঞ্জ বা উচ্চ কনসেপচুয়াল লেভেল দিয়ে রিপ্লেস করা হয়। ডেটা ডিসক্রেটাইজেশন নিউমেরোসিটি রিডাকশনের একটি ফর্ম যা কনসেপ্ট হায়ারার্কি স্বয়ংক্রিয়ভাবে তৈরি করার জন্য খুব উপকারী। ডিসক্রেটাইজেশন ও কনসেপ্ট হায়ারার্কি জেনারেশন ডেটা মাইনিং-এর জন্য ডাইনামিক টুল, কারণ এগুলো ডেটাকে বিভিন্ন স্তরের trừয়তায় মাইন করতে সক্ষম করে।
