নিউমেরোসিটি রিডাকশন কী?

নিউমেরোসিটি রিডাকশনে, ডেটা ভলিউম একটি বিকল্প, ছোট ডেটা রিপ্রেজেন্টেশন বেছে নিয়ে কমিয়ে আনা হয়। এই কৌশলগুলো প্যারামেট্রিক বা নন-প্যারামেট্রিক হতে পারে। প্যারামেট্রিক পদ্ধতিতে, একটি মডেল ডেটা অনুমান করে, যাতে শুধু ডেটা প্যারামিটারগুলো সংরক্ষণ করা হয়, প্রকৃত ডেটা নয়—যেমন লগ-লিনিয়ার মডেল। নন-প্যারামেট্রিক পদ্ধতিতে ডেটার একটি সংক্ষিপ্ত রিপ্রেজেন্টেশন সংরক্ষণ করা হয়, যাতে هستোগ্রাম, ক্লাস্টারিং, এবং স্যাম্পলিং থাকে।

নিউমেরোসিটি রিডাকশনের কৌশলগুলো

রিগ্রেশন ও লগ-লিনিয়ার মডেল

এই মডেলগুলো প্রদত্ত ডেটা অনুমান করতে ব্যবহৃত হয়। লিনিয়ার রিগ্রেশনে, ডেটাকে একটি সরল রেখায় ফিট করা হয়। উদাহরণস্বরূপ, একটি র‍্যান্ডম ভেরিয়েবল y (রেসপন্স ভেরিয়েবল) কে অন্য একটি র‍্যান্ডম ভেরিয়েবল x (প্রিডিক্টর ভেরিয়েবল) এর লিনিয়ার ফাংশন হিসেবে মডেল করা যায়: y = wx + b, যেখানে y-এর ভ্যারিয়েন্স কনস্ট্যান্ট ধরা হয়।

লগ-লিনিয়ার মডেল

এই মডেলগুলো ডিসক্রেট মাল্টিডাইমেনশনাল প্রোবাবিলিটি ডিস্ট্রিবিউশন অনুমান করতে ব্যবহৃত হয়। n ডাইমেনশনে (যেমন n অ্যাট্রিবিউট দ্বারা) একটি টাপল সেট দিয়ে, প্রতিটি টাপলকে একটি n-ডাইমেনশনাল স্পেসে একটি পয়েন্ট হিসেবে বিবেচনা করা হয়।

লগ-লিনিয়ার মডেল ডিসক্রেটাইজড অ্যাট্রিবিউটের একটি সেটের জন্য মাল্টিডাইমেনশনাল স্পেসের প্রতিটি পয়েন্টের প্রোবাবিলিটি মাপতে ব্যবহৃত হয়, একটি ছোট ডাইমেনশনাল কম্বিনেশন সাবসেটের উপর ভিত্তি করে। এটি উচ্চ-ডাইমেনশনাল ডেটা ফিল্ডকে নিম্ন-ডাইমেনশনাল স্পেস থেকে তৈরি করতে সক্ষম করে।

হিস্টোগ্রাম

হিস্টোগ্রাম বিনিং ব্যবহার করে ডেটা ডিস্ট্রিবিউশন অনুমান করে এবং ডেটা রিডাকশনের একটি জনপ্রিয় ফর্ম। একটি অ্যাট্রিবিউট A-এর জন্য হিস্টোগ্রাম, A-এর ডেটা ডিস্ট্রিবিউশনকে ডিজয়েন্ট সাবসেট বা বালতিতে ভাগ করে। যদি প্রতিটি বালতি শুধু একটি অ্যাট্রিবিউট-মান/ফ্রিকোয়েন্সি জোড়া সংজ্ঞায়িত করে, তবে বালতিগুলোকে সিঙ্গলটন বালতি বলা হয়।

ক্লাস্টারিং

ক্লাস্টারিং কৌশল ডেটা টাপলকে অবজেক্ট হিসেবে বিবেচনা করে। এগুলো অবজেক্টগুলোকে গ্রুপ বা ক্লাস্টারে পার্টিশন করে যাতে একই ক্লাস্টারের অবজেক্টগুলো পরস্পর "সদৃশ" হয় এবং অন্য ক্লাস্টারের অবজেক্টগুলোর সাথে "অসদৃশ" হয়। এটি সাধারণত একটি ডিস্ট্যান্স ফাংশন ভিত্তিক স্পেসে অবজেক্টগুলো কতটো "ক্লোজ" সেটা দিয়ে সংজ্ঞায়িত হয়।

একটি ক্লাস্টারের গুণমান এর ডায়ামিটার দিয়ে সংজ্ঞায়িত হয়—ক্লাস্টারের যেকোনো দুটি অবজেক্টের মধ্যে সর্বোচ্চ দূরত্ব। সেন্ট্রয়েড ডিস্ট্যান্স ক্লাস্টার গুণমানের একটি বিকল্প মাপ: ক্লাস্টারের প্রতিটি অবজেক্টের ক্লাস্টার সেন্ট্রয়েড (অবজেক্টের "গড়" বা গড় পয়েন্ট) থেকে গড় দূরত্ব।

স্যাম্পলিং

স্যাম্পলিং ডেটা রিডাকশনের একটি পদ্ধতি হিসেবে ব্যবহৃত হয় কারণ এটি একটি বিশাল ডেটাসেটকে অনেক ছোট র‍্যান্ডম স্যাম্পল (অথবা সাবসেট) দিয়ে প্রতিনিধিত্ব করতে সক্ষম করে।