ডেটা ক্লিনিং হলো লপ্ত মান পূরণ করে, শোরগুলো ডেটা সুম্প্রসারিত করে, আউটলায়ার বিশ্লেষণ ও অপসারণ করে এবং ডেটাতে অসঙ্গতি দূর করে ডেটা পরিষ্কার করার প্রক্রিয়া। কখনও কখনও একাধিক স্তরের বিস্তারিত ডেটা প্রয়োজনীয় বিষয় থেকে আলাদা হতে পারে, উদাহরণস্বরূপ, এটি ২০-৩০, ৩০-৪০, ৪০-৫০ বয়সের পরিসর চাইতে পারে, কিন্তু আমদানি করা ডেটা জন্ম তারিখ অন্তর্ভুক্ত করে। ডেটাকে উপযুক্ত প্রকারে ভাগ করে ডেটা পরিষ্কার করা যায়।
ডেটা ক্লিনিং-এর প্রকারভেদ
ডেটা ক্লিনিং-এর বিভিন্ন প্রকার আছে, যেগুলো নিচে দেওয়া হলো:
লপ্ত মান (Missing Values) − লপ্ত মানগুলো উপযুক্ত মান দিয়ে পূরণ করা হয়। মান পূরণের জন্য নিচের পদ্ধতিগুলো অনুসরণ করা হয়:
যখন টাপলটি একাধিক অ্যাট্রিবিউটের সাথে লপ্ত মান ধারণ করে, তখন তা উপেক্ষা করা হয়।
লপ্ত মানের জন্য মানগুলো ম্যানুয়ালি পূরণ করা হয়।
একই গ্লোবাল কনস্ট্যান্ট দিয়ে মানগুলো পূরণ করা যায়।
অ্যাট্রিবিউটের গড় (mean) দিয়ে লপ্ত মানগুলো পূরণ করা হয়।
সর্বाधিক সম্ভাব্য মান দিয়ে লপ্ত মানগুলো পূরণ করা হয়।
শোরগুলো ডেটা (Noisy Data) − নয়েজ হলো একটি র্যান্ডম এরর বা পরিমাপক ভেরিয়েবলে ভেরিয়েন্স। নয়েজ হ্যান্ডেল করার জন্য নিচের স্মুথিং পদ্ধতিগুলো ব্যবহৃত হয়:
বিনিং (Binning) − এই পদ্ধতিগুলো ডেটা মানকে এর "পড়োশ" কনসাল্ট করে সাজিয়ে দেয়, বিশেষ করে নয়েজি তথ্যের আশেপাশের মানগুলো। সাজানো মানগুলো একাধিক বালতি বা বিনে বিতরণ করা হয়। যেহেতু বিনিং পদ্ধতি মানগুলোর পড়োশ কনসাল্ট করে, তাই এটি লোকাল স্মুথিং ইমপ্লিমেন্ট করে।
রিগ্রেশন (Regression) − ডেটাকে একটি ফাংশনে ফিট করে স্মুথ করা যায়, রিগ্রেশনসহ। লিনিয়ার রিগ্রেশন দুটি অ্যাট্রিবিউট (বা ভেরিয়েবল) ফিট করার জন্য "সেরা" লাইন খুঁজে বের করে যাতে একটি অ্যাট্রিবিউট দিয়ে অন্যটি পূর্বানুমান করা যায়। মাল্টিপল লিনিয়ার রিগ্রেশন হলো লিনিয়ার রিগ্রেশনের 확장으로, যেখানে দুটির অধিক অ্যাট্রিবিউট থাকে এবং ডেটা বহুমাত্রিক এলাকায় ফিট করা হয়।
ক্লাস্টারিং (Clustering) − ক্লাস্টারিং আউটলায়ার চেনায় সাহায্য করে। একই মানগুলো ক্লাস্টারে সংগঠিত করা হয় এবং ক্লাস্টারের বাইরে পড়া মানগুলো আউটলায়ার হিসেবে চেনা যায়।
স্মিশ্রিত কম্পিউটার ও মানব পরীক্ষা (Combined computer and human inspection) − কম্পিউটার ও মানব পরীক্ষার সাহায্যে আউটলায়ার চেনা যায়। আউটলায়ার প্যাটার্ন বর্ণনামূলক বা কচরা হতে পারে। বিস্ময়কর মান থাকা প্যাটার্নগুলো তালিকায় আউটপুট করা যায়।
অসঙ্গত ডেটা (Inconsistent Data) − অসঙ্গতি বিভিন্ন ট্রানজেকশনে, ডেটা এন্ট্রির সময়, বা একাধিক ডেটাবেস থেকে তথ্য ইন্টিগ্রেট করার সময় উদ্ভূত হতে পারে। কিছু রিডান্ডেন্সি কোরিলেশন অ্যানালিসিস দিয়ে চেনা যায়। বিভিন্ন সোর্স থেকে ডেটা সঠিক ও যথার্থভাবে ইন্টিগ্রেট করলে রিডান্ডেন্সি কমানো ও এড়ানো যায়।
