নিয়ারেস্ট নেইবর নিয়মটা কোনো পূর্ব অনুমান ছাড়াই ট্রেনিং ইনস্ট্যান্সগুলো কোথা থেকে আনা হয়েছে সেটা না জানলেও অনেক সময় উচ্চ পারফরম্যান্স দেয়। এতে পজিটিভ এবং নেগেটিভ উভয় কেসের ট্রেনিং সেট থাকে। একটা নতুন স্যাম্পলকে নিখুত ট্রেনিং কেসের সাথে দূরত্ব হিসাব করে সংজ্ঞায়িত করা হয়; সেই পয়েন্টের সাইন (চিহ্ন) স্যাম্পলের ক্লাসিফিকেশন ডিসাইড করে।
k-NN ক্লাসিফায়ার
k-NN ক্লাসিফায়ার এই কনসেপ্টকে আরও ভালো করে দিয়েছে k সংখ্যক নিকটতম পয়েন্ট নিয়ে তাদের মেজরিটির সাইন বের করে। সাধারণত k ছোট এবং বিজোড় সংখ্যা (১, ৩, বা ৫) বেছে নেওয়া হয় টাই ব্রেক করার জন্য। বড় k ভ্যালু ট্রেনিং ডেটাতে নויזি পয়েন্টের প্রভাব কমাতে সাহায্য করে, আর k-র পছন্দ ক্রস-ভ্যালিডেশন দিয়ে করা হয়।
নিয়ারেস্ট-নেইবর ক্লাসিফায়ারের প্রধান বৈশিষ্ট্যসমূহ
ইনস্ট্যান্স-ভিত্তিক লার্নিং
নিয়ারেস্ট-নেইবর ক্লাসিফিকেশন ইন্সট্যান্স-ভিত্তিক লার্নিং নামে একটা সাধারণ পদ্ধতির অংশ। এতে ডেটা থেকে কোনো অ্যাবস্ট্রাকশন বা মডেল বানানো ছাড়াই নির্দিষ্ট ট্রেনিং ইন্সট্যান্স ব্যবহার করে প্রিডিকশন করা হয়।
প্রক্সিমিটি মেজার এবং ক্লাসিফিকেশন ফাংশন
ইনস্ট্যান্স-ভিত্তিক লার্নিং এলগরিদমগুলো ইন্সট্যান্স দুটির মধ্যে সাদৃশ্য বা দূরত্ব নির্ধারণের জন্য একটা প্রক্সিমিটি মেজার এবং একটা ক্লাসিফিকেশন ফাংশন দরকার পড়ে। ক্লাসিফিকেশন ফাংশনটা টেস্ট ইন্সট্যান্সের অন্য ইন্সট্যান্সের সাথে নিকটতার ভিত্তিতে এর প্রিডিক্টেড ক্লাস রিটার্ন করে।
লেজি লার্নার vs ইগার লার্নার
নিয়ারেস্ট-নেইবর ক্লাসিফায়ার সহ লেজি লার্নারগুলো মডেল বানাতে হয় না। কিন্তু টেস্ট এক্সাম্পল প্রিডিক্ট করা দামি হতে পারে, কারণ টেস্ট এবং প্রতিটি ট্রেনিং এক্সাম্পলের মধ্যে প্রক্সিমিটি ভ্যালু আলাদা আলাদা হিসাব করতে হয়। অন্যদিকে, ইগার লার্নাররা তাদের কম্পিউটিং রিসোর্সের অধিকাংশ মডেল বানাতে খরচ করে। একবার মডেল বানালে টেস্ট এক্সাম্পল প্রিডিক্ট করা খুব দ্রুত হয়।
লোকাল ডেটা ভিত্তিক প্রিডিকশন
নিয়ারেস্ট-নেইবর ক্লাসিফায়াররা লোকাল ডেটা ভিত্তিক প্রিডিকশন করে, যেখানে ডিসিশন ট্রি এবং রুল-ভিত্তিক ক্লাসিফায়াররা পুরো ইনপুট স্পেস ফিট করে এমন একটা গ্লোবাল মডেল খুঁজে বের করতে চায়। ক্লাসিফিকেশন ডিসিশন লোকালি হয় বলে নিয়ারেস্ট-নেইবর ক্লাসিফায়াররা নויזের প্রভাব পায়।
বিচিত্র আকারের ডিসিশন বাউন্ডারি
নিয়ারেস্ট-নেইবর ক্লাসিফায়াররা যেকোনো আকারের ডিসিশন বাউন্ডারি বানাতে পারে। এগুলো ডিসিশন ট্রি এবং রুল-ভিত্তিক ক্লাসিফায়ারদের রেক্টিলিনিয়ার ডিসিশন বাউন্ডারির চেয়ে অধিক ফ্লেক্সিবল মডেল রিপ্রেজেন্টেশন দেয়।
উপযুক্ত প্রক্সিমিটি মেজার এবং ডেটা প্রিপ্রসেসিংয়ের গুরুত্ব
নিয়ারেস্ট-নেইবর ক্লাসিফায়াররা ভুল প্রিডিকশন দিতে পারে যদি উপযুক্ত প্রক্সিমিটি মেজার এবং ডেটা প্রিপ্রসেসিং নাও হয়। উদাহরণস্বরূপ, লোকজনের উচ্চতা (মিটারে) ও ওজন (পাউন্ডে) দিয়ে ক্লাসিফাই করতে চাইলে—
উচ্চতার পরিবর্তনশীলতা কম (১.৫ m থেকে ১.৮৫ m), কিন্তু ওজন পরিবর্তনশীলতা বেশি (৯০ lb থেকে ২৫০ lb)। যদি এট্রিবিউটের স্কেল বিবেচনা না করা হয়, তবে প্রক্সিমিটি মেজার ওজনের পার্থক্যের দ্বারা ডোমিনেট হবে।
