সাংখ্যিক পদ্ধতি (Statistical Approaches)
সাংখ্যিক পদ্ধতিগুলো মডেল-ভিত্তিক পদ্ধতি যেখানে ডেটার জন্য একটি মডেল তৈরি করা হয় এবং অবজেক্টগুলোকেও সেটি মডেলের সাথে কতটা ফিট করে সেটি অনুযায়ী পরিমাপ করা হয়। আউটলায়ার সনাক্তের অধিকাংশ সাংখ্যিক পদ্ধতি একটি প্রোবাবিলিটি বন্টন মডেল তৈরি করার ওপর ভিত্তি করে এবং অবজেক্টগুলো সেই মডেলের অধীনে কতটা সম্ভাব্য সেটি বিবেচনা করে।
একটি আউটলায়ার হল এমন একটি অবজেক্ট যেটির ডেটার প্রোবাবিলিটি বন্টন মডেলের সাপেক্ষে কম প্রোবাবিলিটি রয়েছে। একটি প্রোবাবিলিটি বন্টন মডেল ডেটা থেকে ব্যবহারকারী-নির্দিষ্ট বন্টনের প্যারামিটার গণনা করে তৈরি করা হয়।
যদি ডেটাকে গাউসিয়ান বন্টন অনুমান করা হয়, তবে মূল বন্টনের গড় এবং স্ট্যান্ডার্ড ডевиएশন ডেটার গড় ও স্ট্যান্ডার্ড ডেভিয়েশন গণনা করে অনুমান করা যায়। বন্টনের অধীনে প্রতিটি অবজেক্টের প্রোবাবিলিটি গণনা করা যায়।
আউটলায়ার বা ডিসকর্ড্যান্ট অবজারভেশন সনাক্ত করার জন্য সাংখ্যিক টেস্টের একটি ব্যাপক পরিসর উন্নত করা হয়েছে। এদের মধ্যে কিছু অত্যন্ত বিশেষায়িত এবং এই টেক্সটের সুযোগের চেয়ে বেশি সাংখ্যিক জ্ঞান দরকার।
ডেটা সেটের নির্দিষ্ট বন্টন চিহ্নিত করা
যদিও অনেক ধরনের ডেটা কিছু সাধারণ বন্টন (গাউসিয়ান, পয়সন, বা বাইনোমিয়াল) দ্বারা বর্ণনা করা যায়, কিন্তু নন-স্ট্যান্ডার্ড বন্টন वाले ডেটাসেট সম্পর্কে phổায়িত। অবশ্যই, যদি ভুল মডেল বেছে নেওয়া হয়, তবে একটি অবজেক্ট ভুলভাবে আউটলায়ার হিসেবে চিহ্নিত হতে পারে।
উদাহরণস্বরূপ, ডেটাকে গাউসিয়ান বন্টন থেকে আসা অনুমান করা যেতে পারে, কিন্তু এটি এমন একটি বন্টন থেকে আসতে পারে যার গড় থেকে দূর মান পাওয়ার প্রোবাবিলিটি গাউসিয়ান বন্টনের চেয়ে বেশি। এই ধরনের আচরণવાલা সাংখ্যিক বন্টন প্র্যাকটিসে সাধারণ এবং হеви-টেইলড বন্টন (heavy-tailed distributions) বলা হয়।
ব্যবহৃত অ্যাট্রিবিউটের সংখ্যা
কিছু সাংখ্যিক আউটলায়ার সনাক্তকরণ কৌশল একক অ্যাট্রিবিউটের জন্য প্রযোজ্য, কিন্তু কিছু কৌশল মাল্টিভেরিয়েট ডেটার জন্য উন্নত করা হয়েছে।
বন্টনগুলোর মিশ্রণ (Mixtures of Distributions)
ডেটাকে বন্টনগুলির মিশ্রণ হিসেবে মডেল করা যেতে পারে, এবং আউটলায়ার সনাক্তকরণ স্কিম এমন মডেলের ওপর ভিত্তি করে তৈরি করা যেতে পারে। সম্ভাব্য বেশি শক্তিশালী হলেও, এমন মডেলগুলো শেখা ও ব্যবহার করা উভয়ই জটিল। উদাহরণস্বরূপ, বন্টনগুলো আগে চিহ্নিত করতে হবে তারপর অবজেক্টগুলোকেও আউটলায়ার হিসেবে সংজ্ঞায়িত করা যাবে।
আউটলায়ার সনাক্তকরণের সাংখ্যিক পদ্ধতিগুলোর একটি दृঢ় ফাউন্ডেশন রয়েছে এবং স্ট্যান্ডার্ড সাংখ্যিক কৌশল (বন্টনের প্যারামিটার গণনা সহ) এর ওপর নির্মিত। যখন ডেটা এবং ব্যবহার করা উচিত টেস্টের ধরন সম্পর্কে পর্যাপ্ত জ্ঞান থাকে, তখন এই টেস্টগুলো কার্যকর হতে পারে। একক অ্যাট্রিবিউটের জন্য সাংখ্যিক আউটলায়ার টেস্টের ব্যাপক পরিসর রয়েছে। মাল্টিভেরিয়েট ডেটার জন্য কম অপশন রয়েছে, এবং এই টেস্টগুলো উচ্চ-মাত্রিক রেকর্ডের জন্য খারাপ পারফর্ম করতে পারে।
