টেন-ফোল্ড ক্রস-ভ্যালিডেশন একটি লার্নিং স্কিমের এরর রেট মেজার করার স্ট্যান্ডার্ড উপায় একটি নির্দিষ্ট ডেটাসেটে; বিশ্বস্ত ফলাফলের জন্য, ১০ বার টেন-ফোল্ড ক্রস-ভ্যালিডেশন। দুটি মেথড রয়েছে: লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন এবং বুটস্ট্র্যাপ।
লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন (Leave-One-Out Cross-Validation)
লিভ-ওয়ান-আউট ক্রস-ভ্যালিডেশন হল স্পষ্টভাবে n-ফোল্ড ক্রস-ভ্যালিডেশন, যেখানে n হল ডেটাসেটের ইনস্ট্যান্সের সংখ্যা। প্রতিটি ইনস্ট্যান্স বारी বاری বাদ দিয়ে দেওয়া হয়, এবং লার্নিং স্কিমটি বাকি সব ইনস্ট্যান্স দিয়ে ট্রেন করা হয়। এরপর বাদ দেওয়া ইনস্ট্যান্সের ওপর এর করেক্টনেস দ্বারা এর 評価 করা হয় - সাকসেস বা ফেইলারের জন্য এক বা শূন্য। ডেটাসেটের প্রতিটি সদস্যের জন্য সকল n জাজমেন্টের ফলাফল গড় করা হয়, এবং সেই গড়টি চূড়ান্ত এরর এস্টিমেট ডিফাইন করে।
এই প্রক্রিয়া দুটি কারণ থেকে আকর্ষণীয়। প্রথম, প্রতিটি কেসে ট্রেনিং-এর জন্য সর্বোচ্চ পরিমাণ রেকর্ড ব্যবহার করা যায়, যাumably ক্লাসিফায়ারের প্রামাণিক হওয়ার সুযোগ বাড়ায়।
দ্বিতীয়, প্রসিডিউরটি ডিটারমিনিস্টিক - কোনো র্যান্ডম স্যাম্পলিং জড়িত নেই। এটিকে ১০ বার বা যেকোনো বার রিপিট করার কোনো অর্থ নেই। প্রতিবার একই ফলাফল প্রাপ্ত হবে। এর বিপরীতে হাই কম্পিউটেশনাল কস্ট কারণ সম্পূর্ণ লার্নিং ফেজ n বার এক্সিকিউট করতে হয় এবং এটি সাধারণত বড় ডেটাসেটের জন্য ইনফিজিবল।
দ্য বুটস্ট্র্যাপ (The Bootstrap)
আমরা যা দ্বিতীয় এস্টিমেশন মেথড বর্ণনা করব, বুটস্ট্র্যাপ, সেটি রিপ্লেসমেন্ট সহ স্যাম্পলিং-এর পরিসংখ্যান পদ্ধতির ওপর ভিত্তি করে। আগে, যখনই ডেটাসেট থেকে একটি স্যাম্পল নেওয়া হতো ট্রেনিং বা টেস্ট সেট তৈরি করতে, তবে সেটি রিপ্লেসমেন্ট ছাড়া নেওয়া হতো।
অনেক লার্নিং স্কিম একই ইনস্ট্যান্স দুবার ব্যবহার করতে পারে, এবং লার্নিং-এর ফলাফলে পার্থক্য হয় যদি ট্রেনিং সেটে দুবার উপস্থিত থাকে। বুটস্ট্র্যাপের ধারণা হল ডেটাসেটকে রিপ্লেসমেন্ট সহ স্যাম্পল করা একটি ট্রেনিং সেট তৈরি করতে। আমরা একটি নির্দিষ্ট ভেরিয়েন্ট বর্ণনা করব, রহস্যময়ভাবে (কিন্তু একটি কারণের জন্য যা শীঘ্রই স্পষ্ট হবে) যাকে ০.৬৩২ বুটস্ট্র্যাপ বলা হয়।
এই জন্য, n ইনস্ট্যান্সের একটি ডেটাসেট n বার স্যাম্পল করা হয়, রিপ্লেসমেন্টসহ, একটি ভিন্ন n ইনস্ট্যান্সের ডেটাসেট প্রদান করতে। যেহেতু এই দ্বিতীয় ডেটাসেটের কিছু এলিমেন্ট (প্রায় নিশ্চিতভাবেই) রিপিট হবে, মূল ডেটাসেটে অবশ্যই কিছু ইনস্ট্যান্স থাকবে যা পিক করা হয়নি - আমরা এগুলোকে টেস্ট ইনস্ট্যান্স হিসেবে ব্যবহার করব।
ট্রেনিং সেটে একটি লার্নিং সিস্টেম ট্রেন করে এবং টেস্ট সেটে এর এরর ক্যালকুলেট করে প্রাপ্ত ফিগারটি হবে একটি পেসিমিস্টিক এস্টিমেট সত্য এরর রেটের কারণ ট্রেনিং সেট, যদিও এর আকার n, তবুও ইনস্ট্যান্সের মাত্র ৬৩% ধারণ করে, যা তেমন বেশি নয় তুলনায়, উদাহরণস্বরূপ, টেন-ফোল্ড ক্রস-ভ্যালিডেশনে ব্যবহৃত ৯০% এর সাথে।
