উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশনের চ্যালেঞ্জসমূহ কী? ইন্টারপ্রিটেশন, স্পার্সিটি, সাবস্পেস, স্কেলেবিলিটি

উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশনের বিভিন্ন চ্যালেঞ্জ রয়েছে:

১. আউটলায়ারের ইন্টারপ্রিটেশন (Interpretation of outliers)

শুধু আউটলায়ার শনাক্ত করলেই চলে না, তাদের ইন্টারপ্রিটেশনও দিতে হয়। যেহেতু উচ্চ-ডাইমেনশনাল ডেটাসেটে অনেক ফিচার (বা ডাইমেনশন) থাকে, ইন্টারপ্রিটেশন ছাড়া আউটলায়ার শনাক্ত করলে তা খুব উপকারী নয়। ইন্টারপ্রিটেশন নির্দিষ্ট সাবস্পেস থেকে আসতে পারে যা আউটলায়ারকে প্রকাশ করে বা অবজেক্টের "আউটলায়ারনেস" (outlierness) এর একটি আसेসমেন্ট হতে পারে। এখাनো ইন্টারপ্রিটেশন ব্যবহারকারীদের আউটলায়ারের সম্ভাব্য অর্থ এবং গুরুত্ব বোঝাতে সাহায্য করে।

২. ডেটা স্পার্সিটি (Data sparsity)

পদ্ধতিগুলো উচ্চ-ডাইমেনশনাল স্পেসে স্পার্সিটি (sparsity) হ্যান্ডেল করতে সক্ষম হতে হবে। ডাইমেনশনালিটি বাড়ার সাথে সাথে অবজেক্টের মধ্যে দূরত্ব নויז (noise) দ্বারা ভারীভাবে ডোমিনেটেড হয়। তাই উচ্চ-ডাইমেনশনাল স্পেসে ডেটা স্পার্স (sparse) হয়ে যায়।

৩. ডেটা সাবস্পেস (Data subspaces)

আউটলায়ারকে উপযুক্তভাবে মডেল করতে হবে, যেমন সাবস্পেস যা আউটলায়ারকে নির্দেশ করে সেটির ওপর অ্যাডাপ্টিভ হওয়া এবং ডেটার লোকাল আচরণ ক্যাপচার করা। সব সাবস্পেসের জন্য একটি ফিক্সড দূরত্ব থ্রেশহোল্ড ব্যবহার করে আউটলায়ার শনাক্ত করা ভালো আইডিয়া নয় কারণ দুটি অবজেক্টের মধ্যে দূরত্ব ডাইমেনশনালিটি বাড়ার সাথে সাথে একঘারে বাড়ে (monotonically increases)।

৪. ডাইমেনশনালিটির সাপেক্ষে স্কেলেবিলিটি (Scalability with respect to dimensionality)

যেহেতু ডাইমেনশনালিটি বাড়ে, সাবস্পেসের সংখ্যা এক্সপোনেনশিয়ালি বাড়ে। সার্চ স্পেসের একটি এক্সহাস্টিভ কম্বিনেটোরিয়াল অ্যানালাইসিস (যে সব সম্ভাব্য সাবস্পেস ধারণ করে) একটি স্কেলেবল পদ্ধতি নয়।

উচ্চ-ডাইমেনশনাল ডেটার জন্য আউটলায়ার ডিটেকশন পদ্ধতির তিনটি প্রধান শ্রেণি

১. সেন্টুন্যাল আউটলায়ার ডিটেকশন প্রসারিত করা (Extending Conventional Outlier Detection)

উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশনের একটি পদ্ধতি হল سنتুন্যাল আউটলায়ার ডিটেকশন পদ্ধতিকে প্রসারিত করা। এটি আউটলায়ারের سنتুন্যাল প্রক্সিমিটি-ভিত্তিক মডেল (proximity-based models) ব্যবহার করে। উচ্চ-ডাইমেনশনাল স্পেসে প্রক্সিমিটি মেজারের অবনতি দূর করতে, এটি অল্টারনেটিভ মেজার বা সাবস্পেস তৈরি করে এবং সেখানে আউটলায়ার শনাক্ত করে।

HilOut অ্যালগরিদম এই পদ্ধতির একটি উদাহরণ। HilOut দূরত্ব-ভিত্তিক আউটলায়ার আবিষ্কার করে, কিন্তু আউটলায়ার ডিটেকশনে আসল দূরত্বের বদলে দূরত্বের র‍্যাঙ্ক (ranks of distance) ব্যবহার করে। নির্দিষ্টভাবে, প্রতিটি অবজেক্ট o-এর জন্য, HilOut o-এর k-নিয়ারেস্ট নেইবর খুঁজে বের করে, nn₁(o),...,nnₖ(o), যেখানে k একটি অ্যাপ্লিকেশন-নির্ভর প্যারামিটার। অবজেক্ট o-এর ওজন (weight) হল:

$$\mathrm{w(o) = \displaystyle\sum\limits_{i=1}^k dist(o,nn_{i}(o))}$$

২. সাবস্পেসে আউটলায়ার খুঁজে বের করা (Finding Outliers in Subspaces)

উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশনের অন্য একটি পদ্ধতি হল বিভিন্ন সাবস্পেসে আউটলায়ার খুঁজে বের করা। একটি নির্দিষ্ট সুবিধা হল, যদি একটি অবজেক্ট খুব কম ডাইমেনশনালিটির একটি সাবস্পেসে আউটলায়ার হিসেবে পাওয়া যায়, তবে সাবস্পেসটি কেন এবং কতটুকু অবজেক্টটি আউটলায়ার সেটা ব্যাখ্যা করার জন্য গুরুত্বপূর্ণ তথ্য প্রদান করে। এটি উচ্চ-ডাইমেনশনাল ডেটায় অ্যাপ্লিকেশনে অত্যন্ত মূল্যবান কারণ ডাইমেনশনের số অত্যধিক।

৩. উচ্চ-ডাইমেনশনাল আউটলায়ার মডেলিং (Modeling High-Dimensional Outliers)

উচ্চ-ডাইমেনশনাল ডেটায় আউটলায়ার ডিটেকশন পদ্ধতির একটি বিকল্প পদ্ধতি হল উচ্চ-ডাইমেনশনাল আউটলায়ারর জন্য নির্দিষ্টভাবে নতুন মডেল তৈরি করা।