এক مدل ট্রেনিং-এর সময় জেনারালাইজেশন এরর এস্টিমেট করার জন্য বেশ কিছু মেথড রয়েছে। এস্টিমেটেড এরর লার্নিং অ্যালগরিদমকে মডেল সিলেকশনে সাহায্য করে; অর্থাৎ, সঠিক জটিলতાવाले একটি মডেল খুঁজে বের করতে যা ওভারফিটিং থেকে প্রভাবিত নয়।
কারণ মডেল তৈরি হয়ে গেছে, এটি টেস্ট সেটে ব্যবহার করা যেতে পারে পূর্বে অনদেখা ডেটার ক্লাস লেবেল প্রেডিক্ট করতে। মডেলের পারফরম্যান্স টেস্ট সেটে মাপা প্রায়শই উপযোগী কারণ এটা এর জেনারালাইজেশন এরর-এর একটি আনবায়াসড এস্টিমেট দেয়। টেস্ট সেট থেকে ইভ্যালুয়েট করা এক্যুরেসি বা এরর রেট ব্যবহার করা যেতে পারে একই ডোমেইনের একাধিক ক্লাসিফায়ারের আপেক্ষিক পারফরম্যান্স তুলনা করতে।
ক্লাসিফায়ার ইভ্যালুয়েশনের সাধারণ পদ্ধতি
ক্লাসিফায়ারের পারফরম্যান্স ইভ্যালুয়েট করার জন্য বিভিন্ন সাধারণ পদ্ধতি রয়েছে যেগুলো নিম্নরূপ:
হোল্ডআউট মেথড (Holdout Method)
হোল্ডআউট মেথডে, লেবেল্ড ইনস্ট্যান্সসহ আসল রেকর্ড দুটি ডিজয়েন্ট সেটে পার্টিশন করা হয়, যেগুলো ক्रमশः ট্রেনিং এবং টেস্ট সেট নামে পরিচিত। একটি ক্লাসিফিকেশন মডেল ট্রেনিং সেট থেকে इंडিউস করা হয় এবং এর ইমপ্লিমেন্টেশন টেস্ট সেটে কম্পিউট করা হয়।
ক্লাসিফায়ারের দক্ষতা ইন্ডিউসড মডেলের টেস্ট সেটে দক্ষতার ওপর ভিত্তি করে কম্পিউট করা যেতে পারে। হোল্ডআউট মেথডের বেশ কিছু সুপরিচিত ডিসঅ্যাডভান্টেজ রয়েছে। প্রথম, কিছু লেবেল্ড ইনস্ট্যান্স ট্রেনিং-এর জন্য উপলব্ধ থাকে কারণ কিছু ডেটা টেস্টিং-এর জন্য Witheld থাকে।
ফলস্বরূপ, ইন্ডিউসড মডেল তত ভালো নাও হতে পারে যখন সব লেবেল্ড উদাহরণ ট্রেনিং-এর জন্য ব্যবহৃত হতো। দ্বিতীয়, মডেলটি ট্রেনিং এবং টেস্ট সেটের কম্পোজিশনের ওপর অত্যধিক ডিপেন্ডেন্ট হতে পারে।
অন্যদিকে, যদি ট্রেনিং সেট খুব বড় হয়, তবে ছোট টেস্ট সেট থেকে কম্পিউটেড এস্টিমেটেড এক্যুরেসি কম নির্ভরযোগ্য। অতএব একটি এস্টিমেটের একটি বিস্তৃত কনফিডেন্স ইন্টারভাল থাকে। চূড়ান্ত, ট্রেনিং এবং টেস্ট সেট একে অপরের থেকে আর আলাদা নয়।
র্যান্ডম সাবস্যাম্পলিং (Random Subsampling)
হোল্ডআউট মেথডকে একাধিক বার রিপিট করা যেতে পারে একটি ক্লাসিফায়ারের ইমপ্লিমেন্টেশন কম্পিউটেশন উন্নত করতে। এই পদ্ধতিকে র্যান্ডম সাবস্যাম্পলিং বলা হয়।
acci কে ith ইটারেশনের timpul মডেল এক্যুরেসি হলে। ওভারআল এক্যুরেসি দেওয়া হয় accsub=$\mathrm{\displaystyle\sum\limits_{i=1}^k}$acci/k
র্যান্ডম সাবস্যাম্পলিং হোল্ডআউট পদ্ধতির সাথে জড়িত বেশ কিছু ইস্যু সম্মুখীন হয় কারণ এটি তত ডেটা ট্রেনিং-এর জন্য ব্যবহার করে না जितना উপলব্ধ। এছাড়া এর কোনো কন্ট্রোল নেই প্রতিটি ডেটা কতবার টেস্টিং এবং ট্রেনিং-এর জন্য ব্যবহৃত হয়। তাই কিছু ডেটা অন্যদের চেয়ে বেশি বার ট্রেনিং-এর জন্য ব্যবহার হতে পারে।
ক্রস-ভ্যালিডেশন (Cross-Validation)
র্যান্ডম সাবস্যাম্পলিং-এর একটি বিকল্প হল ক্রস-ভ্যালিডেশন। এই মেথডে, প্রতিটি ডেটা একাধিকবার ট্রেনিং-এর জন্য এবং সঠিক একবার টেস্টিং-এর জন্য ব্যবহার করা হয়। বিবেচনা করুন যে রেকর্ডকে দুটি সমান আকারের সাবসেটে পার্টিশন করা যেতে পারে। প্রথমে, সাবসেটের একটি ট্রেনিং-এর জন্য সিলেক্ট করা হয় এবং অন্যটি টেস্টিং-এর জন্য। সাবসেটদের ভূমিকা পরিবর্তন করা হয় যাতে পূর্বের ট্রেনিং সেট টেস্ট সেট হয়ে যায়। এই পদ্ধতিকে টু-ফোল্ড ক্রস-ভ্যালিডেশন বলা হয়।
