ডেটা ওয়ারহাউজিং একটি কৌশল যা প্রধানত বিভিন্ন সোর্স থেকে ডেটা সংগ্রহ ও ম্যানেজ করতে ব্যবহৃত হয় যাতে ব্যবসাকে অর্থবহ বUSINESS INSIGHT দেয়া যায়। একটি ডেটা ওয়ারহাউস বিশেষভাবে ম্যানেজমেন্ট ডিসিশন সাপোর্ট করার জন্য ডিজাইন করা হয়।
সरल কথায়, একটি ডেটা ওয়ারহাউস হলো একটি ডেটাবেস যা একটি সংগঠনের অপারেশনাল ডেটাবেস থেকে আলাদা রক্ষা করা হয়। ডেটা ওয়ারহাউস সিস্টেম একাধিক অ্যাপ্লিকেশন সিস্টেমের ইন্টিগ্রেশন সক্ষম করে। এগুলো কনসোলিডেটেড, ইতিহাসগত তথ্যের একটি সুদৃঢ় প্ল্যাটফর্ম দিয়ে ডেটা প্রসেসিং সমর্থন করে।
ডেটা ওয়ারহাউসগুলো মাল্টিডাইমেনশনাল স্পেসে তথ্য জেনারেলাইজ ও কনসোলিডেট করে। ডেটা ওয়ারহাউস নির্মাণে ডেটা ক্লিনিং, ডেটা ইন্টিগ্রেশন, এবং ডেটা ট্রান্সফরমেশন অন্তর্ভুক্ত থাকে এবং এটিকে ডেটা মাইনিং-এর জন্য একটি অত্যাবশ্যক প্রি-প্রসেসিং ধাপ হিসেবে বিবেচনা করা হয়। এই টুলস ও ইউটিলিটিগুলো নিম্নলিখিত ফাংশনগুলো সম্পাদন করে:
ডেটা এক্সট্রাকশন
ডেটা ক্লিনিং (Data Cleaning)
ডেটা ক্লিনিং মানে ডেটা পরিষ্কার করা—মিসিং মান পূরণ করা, নয়েজি ডেটা স্মুথ করা, আউটলায়ার চিহ্নিত ও অপসারণ করা, এবং ডেটায় ইনকনসিস্টেন্সি দূর করা।
ডেটা ক্লিনিং-এর প্রকারভেদ
মিসিং ভ্যালু (Missing Values): মিসিং মানগুলো উপযুক্ত মান দিয়ে পূরণ করা হয়। মান পূরণের পদ্ধতিগুলো নিচে দেয়া হলো।
নয়েজি ডেটা (Noisy Data): নয়েজ হলো একটি র্যান্ডম এরর বা একটি পরিমাপক ভেরিয়েবলে ভেরিয়েন্স। নয়েজ হ্যান্ডল করার স্মুথিং কৌশলগুলো নিচে দেয়া হলো:
বিনিং (Binning): এই কৌশলগুলো সর্টেড ডেটা মানকে এর "নেইবরহুড" বা আশেপাশের মানগুলোর সাথে এডজাস্ট করে স্মুথ করে। সর্টেড মানগুলো একাধিক বালতি বা বিনে বিন্যাস করা হয়। বিনিং মেথড যেহেতু মানগুলোর নেইবরহুড কনসাল্ট করে, তাই এটি লোকাল স্মুথিং বাস্তবায়ন করে।
রিগ্রেশন (Regression): ডেটাকে একটি ফাংশন সাথে ফিট করে স্মুথ করা যায়, রিগ্রেশন দিয়ে। লিনিয়ার রিগ্রেশনে দুটি অ্যাট্রিবিউট (ভেরিয়েবল) ফিট করার জন্য "সেরা" লাইন খুঁজে বের করা হয় যাতে একটি অ্যাট্রিবিউট দিয়ে অন্যটি প্রেডিক্ট করা যায়। মাল্টিপল লিনিয়ার রিগ্রেশন লিনিয়ার রিগ্রেশন-এর এক্সটেনশন যেখানে দুটির অধিক অ্যাট্রিবিউট থাকে এবং ডেটা একটি মাল্টিডাইমেনশনাল সারফেসে ফিট করা হয়।
ক্লাস্টারিং (Clustering): ক্লাস্টারিং আউটলায়ার চিহ্নিত করতে সাহায্য করে। সদৃশ মানগুলো ক্লাস্টারে সংগঠিত করা হয় এবং যেসব মান ক্লাস্টারের বাইরে পড়ে সেগুলোকে আউটলায়ার বলা হয়।
ডেটা ট্রান্সফরমেশন (Data Transformation)
ডেটা ট্রান্সফরমেশনে, ডেটাকে মাইনিং-এ উপযোগী ফর্মে রূপান্তরিত বা কনসোলিডেট করা হয়। এর অন্তর্ভুক্ত:
স্মুথিং: ডেটা থেকে নয়েজ সরাতে কাজ করে। কৌশলগুলো: বিনিং, রিগ্রেশন, এবং ক্লাস্টারিং।
অ্যাগ্রিগেশন: ডেটার ওপর সারমর্ম বা অ্যাগ্রিগেশন অপারেশন প্রয়োগ করা হয়।
জেনারেলাইজেশন: নিম্ন-স্তরের বা "প্রিমিটিভ" (কাঁচা) ডেটাকে কনসেপ্ট হায়ারার্কি ব্যবহার করে উচ্চ-স্তরের কনসেপ্ট দিয়ে রিপ্লেস করা হয়।
লোড (Load)
এটি সর্ট, সারমর্ম, কনসোলিডেট, ভিউ কম্পিউট, ইন্টিগ্রিটি চেক, এবং ইন্ডেক্স ও পার্টিশন বিল্ড করে।
রিফ্রেশ (Refresh)
এটি ডেটা সোর্স থেকে ডেটা ওয়ারহাউসে আপডেট প্রপাগেট করে।
