ডেটা প্রিপ্রসেসিং-র টাস্কসমূহ কী? ক্লিনিং, ইন্টিগ্রেশন, রিডাকশন, ট্রান্সফরমেশন

ডেটা প্রিপ্রসেসিং-এ চারটি প্রধান ধাপ থাকে: ডেটা ক্লিনিং (Data Cleaning), ডেটা ইন্টিগ্রেশন (Data Integration), ডেটা রিডাকশন (Data Reduction), এবং ডেটা ট্রান্সফরমেশন (Data Transformation)।

১. ডেটা ক্লিনিং (Data Cleaning)

ডেটা ক্লিনিং রুটিন তথ্যকে "ক্লিন" করার জন্য কাজ করে: মিসিং ভ্যালু পূরণ করা, নויזি তথ্য স্মুথ করা, আউটলায়ার শনাক্ত বা অপসারণ করা, এবং অসঙ্গতি সমাধান করা। যদি ব্যবহারকারীরা জানেন ডেটা গন্দা (dirty), তবে তারা ডেটা মাইনিং-এর ফলাফলে আত্মবিশ্বাস করবে না।

অতিরিক্তভাবে, গন্দা ডেটা মাইনিং ফেজে বিভ্রান্তি সৃষ্টি করতে পারে, যার ফলে অস্থির আউটপুট আসে। কিছু মাইনিং রুটিন অসম্পূর্ণ বা নויזি তথ্য হ্যান্ডেল করার কিছু ধাপ রাখে, কিন্তু সেগুলো সবসময় কার্যকর নয়। বরং, সেগুলো মডেল করা ফাংশনের সাথে তথ্যকে ওভারফিটিং (overfitting) থেকে বাঁচাতে ফোকাস করে।

২. ডেটা ইন্টিগ্রেশন (Data Integration)

ডেটা ইন্টিগ্রেশন হল একাধিক বিচ্ছিন্ন উৎস থেকে ডেটা মার্জ করার প্রক্রিয়া। ডেটা ইন্টিগ্রেশন করার সময়, ডেটা রিডান্ডেন্সি, ইনকনসিস্টেন্সি, ডুপ্লিকেসি ইত্যাদি কাজ করতে হয়। ডেটা মাইনিং-এ, ডেটা ইন্টিগ্রেশন একটি রেকর্ড প্রিপ্রসেসিং পদ্ধতি যেটি একাধিক হেটেরোজিনাস ডেটা সোর্স থেকে ডেটা মার্জ করে কোহেরেন্ট ডেটা-এ রূপান্তরিত করে যাতে ডেটার একটি یوқিখ দৃষ্টিভঙ্গি সংরক্ষণ ও প্রদান করা যায়।

ডেটা ইন্টিগ্রেশন স্বাস্থ্য সেবা sektরে বিশেষত গুরুত্বপূর্ণ। একাধিক রোগী ডেটা এবং ক্লিনিক থেকে ইন্টিগ্রেটেড ডেটা ক্লিনিশিয়ানদের মেডিকেল ডিজঅর্ডার এবং রোগ শনাক্ত করতে সহায়তা করে একাধিক সিস্টেম থেকে ডেটা একটি একক দৃষ্টিভঙ্গিতে একত্রিত করে যেকথা থেকে উপকারী অন্তর্দৃষ্টি প্রাপ্ত করা যায়।

৩. ডেটা রিডাকশন (Data Reduction)

ডেটা রিডাকশনের উদ্দেশ্য হল ডেটাকে আরও কম্প্যাক্টলি উপস্থাপন করা। যখন ডেটা আকার ছোট হয়, জটিল এবং কম্পিউটেশনালি ব্যয়বহুল অ্যালগরিদম ব্যবহার করা সহজ হয়। ডেটার রিডাকশন হতে পারে সারি (রেকর্ড) বা কলাম (ডাইমেনশন) সংখ্যা কমাতে।

ডাইমেনশন্যালিটি রিডাকশন (Dimensionality Reduction)

ডেটা এনকোডিং স্কিম ব্যবহার করা হয় যাতে মূল ডেটার একটি রিডাক্টেড বা "কমপ্রেসড" বর্ণনা প্রাপ্ত হয়। উদাহরণ: ডেটা কমপ্রেশন মেথড (যেমন ওয়েভলেট ট্রান্সফর্ম এবং প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস), অ্যাট্রিবিউট সাবসেট সিলেকশন (যেমন অপ্রাসঙ্গিক অ্যাট্রিবিউট অপসারণ), এবং অ্যাট্রিবিউট কন্সট্রাকশন (যেমন মূল সেট থেকে আরও উপকারী কিছু অ্যাট্রিবিউট তৈরি করা)।

নিউমেরোসিটি রিডাকশন (Numerosity Reduction)

ডেটাকে অল্টারনেটিভ, ছোট বর্ণনা দিয়ে প্রতিস্থাপন করা হয় প্যারামেট্রিক মডেল ব্যবহার করে (যেমন রিগ্রেশন বা লগ-লিনিয়ার মডেল) বা নন-প্যারামেট্রিক মডেল (যেমন হিস্টোগ্রাম, ক্লাস্টার, স্যাম্পলিং, বা ডেটা অ্যাগ্রিগেশন)।

৪. ডেটা ট্রান্সফরমেশন (Data Transformation)

ডেটা ট্রান্সফরমেশন-এ, ডেটাকে মাইনিং-এ উপযোগী ফর্মে রূপান্তর বা সংযুক্ত করা হয় সারাংশ বা অ্যাগ্রিগেশন অপারেশন বাস্তবায়ন করে। ডেটা ট্রান্সফরমেশন-এ অন্তর্ভুক্ত:

স্মুথিং (Smoothing)

ডেটা থেকে নויז অপসারণ করা। এই কৌশলগুলোর মধ্যে রয়েছে বিনিং (binning), রিগ্রেশন, এবং ক্লাস্টারিং।

অ্যাগ্রিগেশন (Aggregation)

অ্যাগ্রিগেশনে, সারাংশ বা অ্যাগ্রিগেশন সার্ভিস ডেটার ওপর প্রয়োগ করা হয়। উদাহরণস্বরূপ, দৈনিক সেলস ডেটাকে মাসিক এবং বার্ষিক মোট পরিমাণ গণনা করার জন্য অ্যাগ্রিগেট করা হয়। এই প্রক্রিয়া সাধারণত ডেটা কিউব তৈরি করতে ব্যবহার হয় যাতে রেকর্ডকে বিভিন্ন গ্র্যানুলারিটিতে বিশ্লেষণ করা যায়।