সাপোর্ট ভেক্টর মেশিন কী?

একটি ক্লাসিফিকেশন পদ্ধতি যেটি বিবেচনাযোগ্য পরীক্ষা পায়েছে তা হল সাপোর্ট ভেক্টর মেশিন (SVM)। এই পদ্ধতির রুট স্ট্যাটিস্টিক্যাল লার্নিং থিওরিতে এবং এই ব্যবহারের ক্ষেত্রে প্রমিশিং এম্পিরিক্যাল ফলাফল দেখিয়েছে, হ্যান্ডরিটেন ডিজিট আইডেন্টিফিকেশন থেকে টেক্সট ক্লাসিফিকেশন পর্যন্ত।

SVM হাই-ডাইমেনশনাল ডেটাও হ্যান্ডেল করে এবং ডাইমেনশনালিটির অভিশাপ সমস্যা এড়ায়। এই পদ্ধতির দ্বিতীয় উপাদান হল এটি ডিসিশন বাউন্ডারি ডিফাইন করে ট্রেনিং ইনস্ট্যান্সের একটি সাবসেট ব্যবহার করে, যাকে সাপোর্ট ভেক্টর বলা হয়।

SVM কে এক্সপ্লিসিটলি এই ধরনের হাইপারপ্লেন দেখতে ট্রেন করা যেতে পারে লিনিয়ারলি সেপারেবল ডেটাতে। এটি অর্জন করা যায় SVM মেথডলজি কীভাবে নন-লিনিয়ারলি সেপারেবল ডেটাতে এক্সটেন্ড করা যায় সেটা দেখিয়ে। ডেটা সেট লিনিয়ারলি সেপারেবল; অর্থাৎ, একটি হাইপারপ্লেন খুঁজে বের করা যায় যার একপাশে সব স্কোয়ার এবং অন্য পাশে সব সার্কেল থাকে।

ডিসিশন বাউন্ডারি ও মার্জিন

ক্লাসিফায়ারকে এই হাইপারপ্লেনগুলোর একটি সিলেক্ট করতে হবে তার ডিসিশন বাউন্ডারি ডিফাইন করতে, টেস্ট ইনস্ট্যান্সে কীভাবে পারফর্ম করতে এক্সপেক্টেড সেটার ওপর ভিত্তি করে। দুটি ডিসিশন বাউন্ডারি বিবেচনা করুন, B1 এবং B2। দুটি ডিসিশন বাউন্ডারি ট্রেনিং ইনস্ট্যান্সকে তাদের নিজস্ব ক্লাসে সেপারেট করতে পারে কোনো মিসক্লাসিফিকেশন এরর ছাড়া। প্রতিটি ডিসিশন বাউন্ডারি Bi একটি হাইপারপ্লেন জোড়ার সাথে সম্পর্কিত, যেগুলো bi1 এবং bi2 হিসেবে ইন্ডিকেট করা হয়, ক্রমশः।

bi1 অর্জন করা হয় একটি প্যারালেল হাইপারপ্লেন ডিসিশন বাউন্ডারি থেকে দূরে সরিয়ে যতক্ষণ না এটি সবচেয়ে কাছের স্কোয়ার(গুলো) স্পর্শ করে, আর bi2 অর্জন করা হয় হাইপারপ্লেন সরিয়ে যতক্ষণ না এটি সবচেয়ে কাছের সার্কেল(গুলো) স্পর্শ করে। এই দুটি হাইপারপ্লেনের মধ্যে দূরত্বকে ক্লাসিফায়ারের মার্জিন বলা হয়।

উচ্চ মার্জিনवाले ডিসিশন বাউন্ডারির tendance থাকে হাই 져নারালাইজেশন এরর থাকে কম মার্জিনवालेদের চেয়ে। যদি মার্জিন ছোট হয়, তবে ডিসিশন বাউন্ডারিতে কিছু স্লাইট পার্টার্বেশন এর ক্লাসিফিকেশনে গুরুত্বপূর্ণ প্রভাব ফেলতে পারে।

একটি লিনিয়ার ক্লাসিফায়ারের মার্জিনকে এর জেনারালাইজেশন এরর সাথে রিলেট করার একটি প্রপার ডেসক্রিপশন দেওয়া হয় একটি স্ট্যাটিস্টিক্যাল লার্নিং প্রিন্সিপল দ্বারা যাকে স্ট্রাকচারাল রিস্ক মিনিমাইজেশন (SRM) বলা হয়। এই প্রিন্সিপল একটি ক্লাসিফায়ারের জেনারালাইজেশন এরর (R) এর একটি আপার বাউন্ড দেয় এর ট্রেনিং এরর (Re), ট্রেনিং উদাহরণের সংখ্যা (N), এবং মডেল কমপ্লেক্সিটি যাকে এর ক্যাপাসিটি (h) বলা হয় সেগুলোর টার্মে। আরও স্পষ্টভাবে, ১ - n প্রোব্যাবিলিটির সাথে, ক্লাসিফায়ারের জেনারালাইজেশন এরর সর্বোচ্চ হতে পারে

$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{1og(n)}{N})}$$

যেখানে φ ক্যাপাসিটি h-এর একটি মনোটোন ইনক্রিজিং ফাংশন। পূর্বের অসমতা পাঠকদের কাছে পরিচিত হতে পারে কারণ এটি মিনিমাম ডেসক্রিপশন লেথ (MDL) প্রিন্সিপলকে সিমুলেট করে। SRM জেনারালাইজেশন এরর ডিফাইন করার আরেকটি পদ্ধতি ট্রেনিং এরর এবং মডেল কমপ্লেক্সিটির মধ্যে ট্রেড-অফ হিসেবে।