একটি শ্রেণীবিভাগ পদ্ধতি যা যথেষ্ট যাচাই-বাছাই পেয়েছে তা হল সমর্থন ভেক্টর মেশিন (SVM)। এই পদ্ধতির শিকড় পরিসংখ্যানগত শিক্ষা তত্ত্বের মধ্যে রয়েছে এবং এটি হাতে লেখা অঙ্ক শনাক্তকরণ থেকে পাঠ্য শ্রেণিবিন্যাস পর্যন্ত বেশ কয়েকটি ব্যবহারিক প্রয়োগে প্রতিশ্রুতিশীল অভিজ্ঞতামূলক ফলাফল প্রদর্শন করেছে।
SVM উচ্চ-মাত্রিক ডেটার সাথেও কাজ করে এবং মাত্রিকতার সমস্যাগুলির অভিশাপ প্রতিরোধ করে। এই পদ্ধতির দ্বিতীয় উপাদানটি হল এটি প্রশিক্ষণ দৃষ্টান্তগুলির একটি উপসেট ব্যবহার করে সিদ্ধান্তের সীমানা নির্ধারণ করে, যাকে সমর্থন ভেক্টর বলা হয়৷
রৈখিকভাবে বিভাজ্য ডেটাতে এই ধরনের হাইপারপ্লেনকে স্পষ্টভাবে দেখার জন্য SVM প্রস্তুত করা যেতে পারে। এটি প্রদর্শন করে অর্জন করতে পারে কিভাবে SVM পদ্ধতিটি অ-রৈখিকভাবে বিভাজ্য ডেটাতে চালিয়ে যেতে পারে। ডেটা সেটটি রৈখিকভাবে বিভাজ্য; অর্থাৎ, এটি হাইপারপ্লেনের একপাশে থাকা সমস্ত বর্গক্ষেত্র এবং বিভিন্ন দিকে থাকা সমস্ত বৃত্ত সহ একটি হাইপারপ্লেন আবিষ্কার করতে পারে৷
শ্রেণীবিভাগকারীকে তার সিদ্ধান্তের সীমানা বর্ণনা করার জন্য এই হাইপারপ্লেনগুলির মধ্যে একটি নির্বাচন করা উচিত, পরীক্ষার দৃষ্টান্তে তারা কতটা ভালভাবে বাস্তবায়ন করবে তার উপর নির্ভর করে। দুটি সিদ্ধান্তের সীমানা বিবেচনা করুন, B1 এবং B2। উভয় সিদ্ধান্তের সীমানা কিছু ভুল শ্রেণীবিন্যাস ত্রুটি নির্বাহ না করেই প্রশিক্ষণের দৃষ্টান্তগুলিকে তাদের নির্দিষ্ট ক্লাসে আলাদা করতে পারে। প্রতিটি সিদ্ধান্তের সীমানা Bi এক জোড়া হাইপারপ্লেনের সাথে সম্পর্কিত, সেই অনুযায়ী bi1 এবং bi2 হিসাবে নির্দেশিত৷
Bi1 সিদ্ধান্তের সীমানা থেকে দূরে একটি সমান্তরাল হাইপারপ্লেন পরিবর্তন করে অর্জিত হয় যতক্ষণ না এটি নিকটতম বর্গ(গুলি) যোগাযোগ করে, যেখানে bi2 হাইপারপ্লেন পরিবর্তন করে অর্জিত হয় যতক্ষণ না এটি নিকটতম বৃত্ত(গুলি) যোগাযোগ করে। এই দুটি হাইপারপ্লেনের মধ্যবর্তী দূরত্বকে শ্রেণিবিন্যাসকারীর মার্জিন বলা হয়।
উচ্চ মার্জিন সহ সিদ্ধান্তের সীমানা কম মার্জিনের তুলনায় উচ্চ সাধারণীকরণ ত্রুটিগুলিকে প্রভাবিত করে। যদি মার্জিন ছোট হয়, তাই সিদ্ধান্তের সীমারেখার কিছু সামান্য বিশৃঙ্খলা এর শ্রেণীবিভাগের উপর অপরিহার্য প্রভাব ফেলতে পারে।
একটি রৈখিক শ্রেণীবিভাগের মার্জিন এর সাধারণীকরণ ত্রুটির সাথে সম্পর্কিত একটি সঠিক বিবরণ একটি পরিসংখ্যানগত শিক্ষার নীতি দ্বারা দেওয়া হয় যাকে স্ট্রাকচারাল রিস্ক মিনিমাইজেশন (SRM) বলা হয়। এই নীতিটি একটি ক্লাসিফায়ার (R) এর প্রশিক্ষণ ত্রুটি (Re), প্রশিক্ষণের উদাহরণের সংখ্যা (N) এবং এর ক্ষমতা (h) নামক মডেল জটিলতার পরিপ্রেক্ষিতে একটি ঊর্ধ্ব সীমাবদ্ধতাকে সমর্থন করে। আরও স্পষ্টভাবে, 1 - n এর সম্ভাবনা সহ, শ্রেণীবিভাগের সাধারণীকরণ ত্রুটি সবচেয়ে খারাপ হতে পারে
$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{1og(n)}{N})}$$
যেখানে φ হল ধারণক্ষমতা h এর একঘেয়ে বর্ধনশীল ফাংশন। পূর্ববর্তী অসমতা পাঠকদের কাছে পরিচিত হতে পারে কারণ এটি ন্যূনতম বর্ণনা দৈর্ঘ্য (MDL) নীতির অনুকরণ করে। প্রশিক্ষণের ত্রুটি এবং মডেল জটিলতার মধ্যে ট্রেড-অফ হিসাবে সাধারণীকরণ ত্রুটিকে সংজ্ঞায়িত করার আরেকটি পদ্ধতি হল SRM।
