ডেটা মাইনিং-এ ক্লাস্টারিংয়ের প্রয়োজনীয়তা
ডেটা মাইনিং-এ ক্লাস্টারিংয়ের নিম্নলিখিত প্রয়োজনীয়তাগুলো রয়েছে:
১. স্কেলেবিলিটি (Scalability)
কিছু ক্লাস্টারিং অ্যালগরিদম ছোট ডেটা সেটে (কয়েকশো ডেটা অবজেক্ট পর্যন্ত) ভালো কাজ করে। একটি বিশাল ডেটাবেসে মিলিয়ন মিলিয়ন অবজেক্ট থাকতে পারে। একটি বড় ডেটা সেটের স্যাম্পলে ক্লাস্টারিং করলে আংশিক ফলাফল আসতে পারে। অত্যন্ত স্কেলেবল ক্লাস্টারিং অ্যালগরিদম প্রয়োজন।
২. বিভিন্ন ধরনের অ্যাট্রিবিউট হ্যান্ডেল করার ক্ষমতা (Ability to deal with different types of attributes)
কিছু অ্যালগরিদম ইন্টারভাল-ভিত্তিক (নিউমেরিক্যাল) ইনফরমেশন ক্লাস্টার করার জন্য ডিজাইন করা থাকে। কিন্তু অ্যাপ্লিকেশনগুলোতে বিভিন্ন ধরনের ডেটা ক্লাস্টার করা প্রয়োজন হতে পারে, যার মধ্যে বাইনারি, ক্যাটেগরিক্যাল (নমিনাল), এবং অর্ডিনাল ডেটা, বা এই ডেটা টাইপের কম্বিনেশন।
৩. আয়তনমূলক আকারের ক্লাস্টার আবিষ্কার (Discovery of clusters with arbitrary shape)
কিছু ক্লাস্টারিং অ্যালগরিদম ইউক্লিডিয়ান বা ম্যানহ্যাটান ডিস্ট্যান্স মেজার উপর ভিত্তি করে ক্লাস্টার নির্ধারণ করে। এ ধরনের ডিস্ট্যান্স মেজারের ওপর নির্ভরশীল অ্যালগরিদমগুলো একই আকার এবং ডেন্সিটির গোলাকার ক্লাস্টার আবিষ্কার করতে প্রবণ। কিন্তু একটি ক্লাস্টার যেকোনো আকারের হতে পারে। যেকোনো আকারের ক্লাস্টার চিনতে পারা এমন অ্যালগরिदম ডেভেলপ করা অত্যন্ত জরুরি।
৪. ইনপুট প্যারামিটার নির্ধারণে ন্যূনতম ডোমেন নলেজ (Minimal requirements for domain knowledge to determine input parameters)
কিছু ক্লাস্টারিং অ্যালগরিদম ইউজারকে ক্লাস্টার অ্যানালাইসিসে নির্দিষ্ট প্যারামিটার ইনপুট করতে বলে (যেমন প্রত্যাশিত ক্লাস্টার সংখ্যা)। ক্লাস্টারিং ফলাফল ইনপুট প্যারামিটারের ওপর অত্যন্ত সংবেদনশীল হতে পারে। প্যারামিটার নির্ধারণ করা কঠিন, বিশেষ করে হাই-ডাইমেনশনাল অবজেক্ট থাকা ডেটা সেটের জন্য। এটি শুধু ইউজারকে বাধা দেয় না, বরং ক্লাস্টারিং কোয়ালিটি কন্ট্রোল করাও কঠিন করে দেয়।
৫. নয়েজি ডেটা হ্যান্ডেল করার ক্ষমতা (Ability to deal with noisy data)
বেশির ভাগ রিয়েল-ওয়ার্ল্ড ডেটাবেসে আউটলায়ার বা অনুপস্থিত, অজানা, বা ভুল তথ্য থাকে। কিছু ক্লাস্টারিং অ্যালগরিদম এমন ডেটার প্রতি সংবেদনশীল এবং নিম্ন মানের ক্লাস্টার তৈরিতে পরিচালিত করতে পারে।
৬. ইনক্রিমেন্টাল ক্লাস্টারিং এবং ইনপুট রেকর্ডের অর্ডার প্রতি অসংবেদনশীলতা (Incremental clustering and insensitivity to the order of input records)
কিছু ক্লাস্টারিং অ্যালগরিদম নতুন যোগ হওয়া তথ্য (ডেটাবেস আপডেট) বর্তমান ক্লাস্টারিং স্ট্রাকচারে অন্তর্ভুক্ত করতে পারে না এবং বরং নতুন করে ক্লাস্টারিং নির্ধারণ করতে বাধ্য হয়। কিছু ক্লাস্টারিং অ্যালগরিদম ইনপুট রেকর্ডের অর্ডার প্রতি সংবেদনশীল। একই সেটের ডেটা অবজেক্ট দিয়ে, অ্যালগরিদম ইনপুট অবজেক্টের প্রেজেন্টেশন অর্ডারের ওপর ভিত্তি করে খুব ভিন্ন ক্লাস্টারিং ফেরত দিতে পারে। ইনক্রিমেন্টাল ক্লাস্টারিং অ্যালগরিদম এবং ইনপুট অর্ডার প্রতি অসংবেদনশীল অ্যালগরিদম ডেভেলপ করা জরুরি।
৭. হাই ডাইমেনশন্যালিটি (High dimensionality)
একটি ডেটাবেস বা ডেটা ওয়ারহাউসে একাধিক ডাইমেনশন বা অ্যাট্রিবিউট থাকতে পারে। কিছু ক্লাস্টারিং অ্যালগরিদম লো-ডাইমেনশনাল ডেটা (শুধু দুই থেকে তিনটি ডাইমেনশন) হ্যান্ডেল করতে ভালো। মানব চোখ তিনটি ডাইমেনশন পর্যন্ত ক্লাস্টারিং কোয়ালিটি নির্ধারণ করতে সেরা। হাই-ডাইমেনশনাল স্পেসে ডেটা অবজেক্টের ক্লাস্টার খুঁজে বের করা জটিল, বিশেষ করে এমন ডেটা নোংরা এবং অত্যন্ত স্কিউড থাকতে পারে।
