ডেটার বৈশিষ্ট্য কী?

ডেটার বৈশিষ্ট্য যা ক্লাস্টার অ্যানালাইসিসকে প্রভাবিত করে

নিম্নলিখিত কিছু ডেটার বৈশিষ্ট্য রয়েছে যা ক্লাস্টার অ্যানালাইসিসকে শক্তিশালীভাবে প্রভাবিত করতে পারে:

উচ্চ ডায়মেনশনালিটি (High Dimensionality)

উচ্চ-মাত্রিক ডেটাসেটে, ঘনত্বের প্রাচীন ইউক্লিডিয়ান ধারণা (একক আয়তনে পয়েন্টের সংখ্যা) অর্থহীন হয়ে যায়। অনুমান করা হয় যে ডায়মেনশন বৃদ্ধি পেলে আয়তন এক্সপোনেনশিয়ালভাবে বৃদ্ধি পায়, এবং যতক্ষণ না পয়েন্টের সংখ্যা ডায়মেনশনের সাথে এক্সপোনেনশিয়ালভাবে বৃদ্ধি পায়, ঘনত্ব শূন্যের দিকে প্রবণ হয়।

উচ্চ-মাত্রিক স্থানে প্রাক্সিমিটিও আরও ইউনিফর্ম হয়ে যায়। এটিকে অন্যভাবে চিন্তা করলে, দুই পয়েন্টের মধ্যে প্রাক্সিমিটিতে অবদান রাখা আরও অনেক ডায়মেনশন (অ্যাট্রিবিউট) থাকে যা প্রাক্সিমিটিকে আরও ইউনিফর্ম করে দেয়। যেহেতু অধিকাংশ ক্লাস্টারিং কৌশল প্রাক্সিমিটি বা ঘনত্বের উপর নির্ভর করে, তাই উচ্চ-মাত্রিক ডেটার সাথে সেগুলোতে কঠিনাই হতে পারে। এতে মোকাবিলার একটি উপায় হল ডায়মেনশনালিটি রিডাকশন কৌশল ব্যবহার করা।

আকার (Size)

কিছু ক্লাস্টারিং অ্যালগরিদম ছোট বা মাঝারি আকারের ডেটাসেটের জন্য ভালো কাজ করে কিন্তু বড় ডেটাসেট হ্যান্ডেল করতে পারে না।

স্পার্সনেস (Sparseness)

স্পার্স ডেটা এসিমেট্রিক অ্যাট্রিবিউট ধারণ করে, যেখানে শূন্য মান নন-শূন্য মানopausal नहीं। তাই অসিমেট্রিক অ্যাট্রিবিউটের জন্য উপযুক্ত সিমিলারিটি মাপ ব্যবহার করা হয়।

নয়েজ এবং আউটলায়ার (Noise and Outliers)

একটি সাধারণ পয়েন্ট (আউটলায়ার) ক্লাস্টারিং অ্যালগরিদমের পারফরম্যান্সকে গুরুতরভাবে নीचে আনতে পারে, বিশেষত প্রোটোটাইপ-ভিত্তিক K-মিন্সের মতো অ্যালগরিদমের ক্ষেত্রে। অন্যভাবে বললে, নয়েজ সিংগেল লিংকের মতো কৌশলগুলোকেও যেসব ক্লাস্টার একত্রিত হওয়া উচিত নয় সেগুলোকেও একত্রিত করতে বাধ্য করতে পারে।

সাধারণত, ক্লাস্টারিং অ্যালগরিদম প্রয়োগ করার আগে নয়েজ ও আউটলায়ার দূর করার অ্যালগরিদম ব্যবহার করা হয়। আরও, কিছু অ্যালগরিদম ক্লাস্টারিং ফেজে নয়েজ ও আউটলায়ার নির্ধারণকারী পয়েন্ট চিহ্নিত করে এবং সেগুলোকে সরিয়ে দেয় অথবা তাদের নেতিবাচক প্রভাব দূর করে।

অ্যাট্রিবিউট এবং ডেটাসেটের ধরন (Type of Attributes and Data Set)

ডেটাসেট একাধিক ধরনের হতে পারে, যেমন স্ট্রাকচার্ড, গ্রাফ, অথবা অর্ডার্ড, যখন অ্যাট্রিবিউট ক্যাটেগরিক্যাল (নোমিনাল বা অর্ডিনাল) বা কোয়ান্টিটেটিভ (ইন্টারভাল বা রেশিও), এবং বাইনারি, ডিসক্রিট, বা কন্টিনিউয়াস হতে পারে।

বিভিন্ন ধরনের ডেটার জন্য ভিন্ন প্রাক্সিমিটি ও ঘনত্ব মাপ উপযুক্ত। অনেক পরিস্থিতিতে, ডেটাকে ডিসক্রেটাইজ বা বাইনারাইজ করতে হয় যাতে কাঙ্ক্ষিত প্রাক্সিমিটি মাপ বা ক্লাস্টারিং অ্যালগরিদম ব্যবহার করা যায়।

অ্যাট্রিবিউটগুলি ব্যাপকভাবে ভিন্ন ধরনের হলে (যেমন কন্টিনিউয়াস এবং নোমিনাল) অন্য একটি সমস্যা হয়। এই ক্ষেত্রে, প্রাক্সিমিটি ও ঘনত্ব সংজ্ঞায়িত করা ও ব্যবহার করা আরও কঠিন ও অ্যাড-হক হয়ে যায়। শেষ পর্যন্ত, নির্দিষ্ট ধরনের ডেটা দক্ষতার সাথে হ্যান্ডেল করার জন্য নির্দিষ্ট ডেটা স্ট্রাকচার ও অ্যালগরিদম দরকার হতে পারে।

স্কেল (Scale)

উচ্চতা ও ওজন-এর মতো ভিন্ন অ্যাট্রিবিউট ভিন্ন স্কেলে মাপা যেতে পারে। এই পার্থক্যগুলো দুটি অবজেক্টের মধ্যে দূরত্ব বা সাদৃশ্যকে শক্তিশালীভাবে প্রভাবিত করতে পারে এবং ফলস্বরূপ ক্লাস্টার অ্যানালাইসিসের ফলাফলেও। উদাহরণস্বরূপ, লোকেদের কদ (মিটারে) ও ওজন (কিলোগ্রামে) ব্যবহার করে ক্লাস্টারিং করার কথা চিন্তা করুন।