ডেটা ট্রান্সফরমেশন কী?

ডেটা ট্রান্সফরমেশনে, ডেটাকে মাইনিং-এ উপযোগী ফর্মে রূপান্তরিত বা সংমিশ্রিত করা হয়। ডেটা ট্রান্সফরমেশন নিম্নলিখিত বিষয়গুলো অন্তর্ভুক্ত করতে পারে:

স্মুথিং (Smoothing)

এটি ডেটা থেকে নয়েজ সরাতে কাজ করে। এর কৌশলগুলো ได้แก่ বিনিং, রিগ্রেশন, এবং ক্লাস্টারিং।

অ্যাগ্রিগেশন (Aggregation)

অ্যাগ্রিগেশনে, ডেটার ওপর সারমর্ম বা অ্যাগ্রিগেশন অপারেশন প্রয়োগ করা হয়। উদাহরণস্বরূপ, দৈনিক বিক্রয় ডেটা অ্যাগ্রিগেট করা হয় মাসিক ও বার্ষিক মোট বের করার জন্য। এই ধাপ সাধারণত ডেটা কিউব তৈরিতে ব্যবহৃত হয় যাতে ডেটাকে বিভিন্ন গ্র্যানুলারিটিতে অ্যানালাইসিস করা যায়।

জেনারেলাইজেশন (Generalization)

জেনারেলাইজেশনে, নিম্ন-স্তরের বা "প্রিমিটিভ" (কাঁচা) ডেটাকে কনসেপ্ট হায়ারার্কি ব্যবহার করে উচ্চ-স্তরের কনসেপ্ট দিয়ে রিপ্লেস করা হয়। উদাহরণস্বরূপ, ক্যাটাগরিক্যাল অ্যাট্রিবিউট যেমন স্ট্রিটকে উচ্চ-স্তরের কনসেপ্ট যেমন সিটি বা কান্ট্রিয়ে জেনারেলাইজ করা যায়। একইভাবে, সংখ্যাসূচক অ্যাট্রিবিউট যেমন বয়সের মানগুলোকে উচ্চ-স্তরের কনসেপ্ট যেমন যুবক, মধ্যবয়স্ক, এবং বৃদ্ধে ম্যাপ করা যায়।

নরমালাইজেশন (Normalization)

নরমালাইজেশনে, অ্যাট্রিবিউট ডেটাকে স্কেল করা হয় যাতে সে একটি ছোট নির্দিষ্ট রেঞ্জে পড়ে, যেমন -১.০ থেকে ১.০, বা ০.০ থেকে ১.০।

অ্যাট্রিবিউট কনস্ট্রাকশন (Attribute Construction)

অ্যাট্রিবিউট কনস্ট্রাকশনে, প্রদত্ত অ্যাট্রিবিউট সেট থেকে নতুন অ্যাট্রিবিউট তৈরি ও যোগ করা হয় যাতে মাইনিং প্রক্রিয়া সুবিধাজনক হয়।

স্মুথিং ডেটা ক্লিনিং-এর একটি ফর্ম এবং এটি ডেটা ক্লিনিং প্রক্রিয়ায় নিয়ে আলোচনা করা হয়েছে যেখানে ব্যবহারকারী ডেটা অসামঞ্জস্য সংশোধনের জন্য ট্রান্সফরমেশন নির্দিষ্ট করেন। অ্যাগ্রিগেশন ও জেনারেলাইজেশন ডেটা রিডাকশনের ফর্ম হিসেবে কাজ করে। একটি অ্যাট্রিবিউট নরমালাইজ করা হয় এর মান স্কেল করে যাতে সে একটি ছোট নির্দিষ্ট রেঞ্জে পড়ে, যেমন ০.০ থেকে ১.০।

নরমালাইজেশন ক্লাসিফিকেশন অ্যালগরিদমের জন্য বিশেষভাবে সহায়ক যাতে নিউরাল নেটওয়ার্ক, বা ডিস্ট্যান্স মেজারমেন্ট যেমন নিয়ারেস্ট-নেইবর ক্লাসিফিকেশন এবং ক্লাস্টারিং থাকে। যদি নিউরাল নেটওয়ার্ক ব্যাকপ্রোপাগেশন অ্যালগরিদম ক্লাসিফিকেশন মাইনিং-এ ব্যবহার করা হয়, তবে ট্রেনিং টাপলগুলোর প্রতিটি অ্যাট্রিবিউটের ইনপুট মান নরমালাইজ করলে লার্নিং ফেজ গতিশীল হয়।

ডিস্ট্যান্স-ভিত্তিক পদ্ধতিতে, নরমালাইজেশন বড় রেঞ্জवाले অ্যাট্রিবিউট (যেমন আয়) কে ছোট রেঞ্জवाले অ্যাট্রিবিউট (যেমন বাইনারি অ্যাট্রিবিউট) এর চেয়ে বেশি ওজন দিতে বাধা দেয়। ডেটা নরমালাইজেশনের অনেক পদ্ধতি রয়েছে:

মিন-ম্যাক্স নরমালাইজেশন (Min-max Normalization)

এটি মূল ডেটার ওপর একটি লিনিয়ার ট্রান্সফরমেশন প্রয়োগ করে। ধরা যাক min_A এবং max_A একটি অ্যাট্রিবিউট A-এর মিনিমাম এবং ম্যাক্সিমাম মান। মিন-ম্যাক্স নরমালাইজেশন একটি মান v কে A-র নতুন রেঞ্জ [new_min_A, new_max_A] এ v'-এ ম্যাপ করে নিচের সূত্র দ্বারা:

$$v'=\frac{v-min_{A}}{max_{A}-min_{A}}(new\_max_{A}- new\_min_{A})+new\_min_{A}$$

জেড-স্কোর নরমালাইজেশন (Z-score Normalization)

জেড-স্কোর নরমালাইজেশন (বা জিরো-মিন নরমালাইজেশনে), একটি অ্যাট্রিবিউট A-এর মানগুলো A-এর মিন এবং স্ট্যান্ডার্ড ডেভিয়েশন ভিত্তিক নরমালাইজ করা হয়। একটি মান v কে A-র v'-এ নরমালাইজ করা হয় নিচের সূত্র দ্বারা:

$$v'=\frac{v-A'}{\sigma_{A}}$$

যেখানে A' এবং σ_A যথাক্রমে অ্যাট্রিবিউট A-এর মিন এবং স্ট্যান্ডার্ড ডেভিয়েশন। এই নরমালাইজেশন পদ্ধতি উপকারী যখন অ্যাট্রিবিউট A-এর প্রকৃত মিনিমাম এবং ম্যাক্সিমাম অজানা থাকে, বা আউটলায়ারগুলো মিন-ম্যাক্স নরমালাইজেশনে দাবা দেয়।

ডেসিমেল স্কেলিং (Decimal Scaling)

ডেসিমেল স্কেলিং দিয়ে নরমালাইজেশন অ্যাট্রিবিউট A-এর মানগুলোর ডেসিমেল পয়েন্ট সরিয়ে করে। ডেসিমেল পয়েন্ট কতটুকু সরাবে সেটি A-এর সর্বোচ্চ অ্যাবসোলিউট মান নির্ভর করে। একটি মান v কে A-র v'-এ নরমালাইজ করা হয় নিচের সূত্র দ্বারা:

$$v'=\frac{v}{10^{j}}$$

যেখানে j হলো সর্বনিম্ন পূর্ণসংখ্যা যাতে Max(|v'|) < 1।