কম্পিউটার টিউটোরিয়াল

আউটলায়ার ডিটেকশন কী?

একটি আউটলায়ার হল একটি ডেটা অবজেক্ট যা বাকি অবজেক্টগুলোর থেকে ουৎসাহিকভাবে ديفায়ার্জ করে যেন সেটি কিছু অন্যান্য মেকানিজম দ্বারা তৈরি হয়েছে। প্রদর্শনের উদ্দেশ্যে, ডেটা অবজেক্টগুলো যারা আউটলায়ার নয় সেগুলোকে "নরমাল" বা এক্সপেক্টেড ডেটা হিসেবে ডিফাইন করা যেতে পারে। সাধারণত, আউটলায়ারকে "অ্যাবনরমাল" ডেটা হিসেবে ডিফাইন করা হয়।

আউটলায়ার হল ডেটা কম্পোনেন্ট যেগুলো একটি দিয়ে गये ক্লাস বা ক্লাস্টারে গ্রুপ করা যাবে না। এগুলো হল সেই ডেটা অবজেক্টগুলো যাদের বিহেভিয়ার অন্যান্য ডেটা অবজেক্টের সাধারণ বিহেভিয়ার থেকে আলাদা। এই ধরনের ডেটার অ্যানালাইসিস নলেজ মাইন করার জন্য গুরুত্বপূর্ণ হতে পারে।

আউটলায়ার আকর্ষণীয় কারণ সন্দেহ করা হয় যে সেগুলো বাকি ডেটার মত একই স্ট্রাকচার দ্বারা তৈরি নয়। অতএব, আউটলায়ার ডিটেকশনে, চিহ্নিত আউটলায়ারগুলো কেন কিছু অন্যান্য মেকানিজম দ্বারা তৈরি সেটা জাস্টিফাই করা অতिआবশ্যক।

ওয়ান-ক্লাস ক্লাসিফিকেশন (One-class classification)

ওয়ান-ক্লাস ক্লাসিফিকেশনকে আউটলায়ার (অথবা নভেল্টি) ডিটেকশন বলা হয় কারণ লার্নিং অ্যালগরिदমটি ব্যবহার করা যেতে পারে ট্রেনিং রেকর্ডের ডিস্ট্রিবিউশনের সাপেক্ষে নরমাল এবং অ্যাবনরমাল ডেটা ডিফারেনশিয়েট করতে।

উদাহরণস্বরূপ, একটি সোশ্যাল মিডিয়া ওয়েবসাইট পর্যবেক্ষণ করে যেখানে নতুন কন্টেন্ট আসছে, নভেল্টি ডিটেকশন দ্রুত নতুন বিষয় এবং ট্রেন্ড চিহ্নিত করতে পারে। নভেল টপিকগুলো প্রাথমিকভাবে আউটলায়ার হিসেবে দৃশ্যমান হয়।

আউটলায়ার ডিটেকশন এবং নভেল্টি ডিটেকশন মডেলিং এবং ডিটেকশন পদ্ধতিতে কিছু সাদৃশ্য শেয়ার করে। কিন্তু একটি ক্রিটিক্যাল পার্থক্য হল নভেল্টি ডিটেকশনে, একবার নতুন বিষয় কনফার্ম হলে, সেগুলো সাধারণত জেনারেল বিহেভিয়ারের মডেলে ইন্টিগ্রেট করা হয় যাতে ফলো-আপ ইনস্ট্যান্স আউটলায়ার হিসেবে বিবেচনা না হয়।

স্ট্যাটিস্টিক্যাল পদ্ধতি

ওয়ান-ক্লাস ক্লাসিফিকেশনের একটি জেনেরিক স্ট্যাটিস্টিক্যাল পদ্ধতি হল আউটলায়ারকে চিহ্নিত করা সেই ইনস্ট্যান্স হিসেবে যা একটি দিয়ে गये পারসেন্টেজ p ট্রেনিং ইনফরমেশনের থেকে একটি দূরত্ব d-এ পড়ে। অধিকতর, একটি প্রোব্যাবিলিটি ডেনসিটি কম্পিউট করা যেতে পারে টার্গেট ক্লাসের জন্য একটি স্ট্যাটিস্টিক্যাল ডিস্ট্রিবিউশন ফিট করে, যার মধ্যে গাউসিয়ান, ট্রেনিং ইনফরমেশনের সাথে; কিছু টেস্ট ইনস্ট্যান্স যার লো প্রোব্যাবিলিটি ভ্যালু সেটিকে আউটলায়ার হিসেবে চিহ্নিত করা যেতে পারে।

মাল্টিক্লাস ক্লাসিফায়ারগুলো ওয়ান-ক্লাস পজিশনে টেইলর করা যেতে পারে ফোকাস ডেটার চারদিকে একটি বাউন্ডারি ফিট করে এবং বাইরে পড়া উদাহরণগুলোকে আউটলায়ার ডিম করা। বাউন্ডারি তৈরি করা যেতে পারে বর্তমান মাল্টিক্লাস ক্লাসিফায়ারগুলোর ইনার ওয়ার্কিং ফিক্স করে যার মধ্যে সাপোর্ট ভেক্টর মেশিন রয়েছে।

এই পদ্ধতিগুলো ব্যাপকভাবে একটি প্যারামিটারের ওপর নির্ভর করে যা ডিসাইড করে টার্গেট ইনফরমেশনের কতটুকু আউটলায়ার হিসেবে ক্লাসিফাই হওয়া সম্ভব। যদি এটি খুব কনজারভেটিভলি সিলেক্ট করা হয়, ফোকাস ক্লাসের ডেটা ভুলভাবে ড্রপ হবে। যদি খুব লিবারলি সিলেক্ট করা হয়, মডেল ওভারফিট করবে এবং খুব বেশি বৈধ রেকর্ড রিজেক্ট করবে। রিজেকশন রেট সাধারণত টেস্টিং-এর সময় মডিফাই করা যাবে না, কারণ একটি উপযুক্ত প্যারামিটার ভ্যালু ট্রেনিং টাইমে সিলেক্ট করা প্রয়োজন।

  1. উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশনের চ্যালেঞ্জসমূহ কী? ইন্টারপ্রিটেশন, স্পার্সিটি, সাবস্পেস, স্কেলেবিলিটি

  2. আউটলায়ার ডিটেকশনের পদ্ধতিসমূহ কী? সুপারভাইজড, আনসুপারভাইজড, সেমি-সুপারভাইজড

  3. আউটলায়ার সনাক্তকরণের চ্যালেঞ্জগুলো কী কী?

  4. আউটলায়ার কী?