প্রুনিং হলো ডিসিশন ট্রির আকার কমাতে প্রক্রিয়া। এটি ওভারফিটিং-এর রিস্ক কমায় ট্রির আকার ডিফাইন করে বা ট্রির সেই অংশগুলো অপসারণ করে যা কম শক্তি প্রদান করে। প্রুনিং ব্রাঞ্চগুলো ট্রিম করে সাহায্য করে যা ট্রেনিং ইনফরমেশনে নয়েজ বা আউটলায়ারের কারণে অ্যানোমালি অনুসরণ করে এবং মূল ট্রিকে এমনভাবে উন্নত করে যা ট্রির জেনারেলাইজেশন এফিশিয়েন্সি বেড়ায়।
বিবিধ পদ্ধতি সাধারণত স্ট্যাটিস্টিক্যাল মেজার ব্যবহার করে সবচেয়ে কম নির্ভরযোগ্য শাখা অপসারণ করতে, যা প্রায়শই দ্রুত ক্লাসিফিকেশন এবং ট্রির ক্ষমতা উন্নত করতে পারে স্বতন্ত্র টেস্ট ডেটা সঠিকভাবে ক্লাসিফাই করার।
প্রি-প্রুনিং পদ্ধতি (Pre-pruning Approach)
প্রি-প্রুনিং পদ্ধতিতে, একটি ট্রি "প্রুনড" হয় এর কনস্ট্রাকশন vroegে থামিয়ে (যেমন, নির্ধারণ করে না ট্রেনিং স্যাম্পলের সাবসেটকে একটি প্রদত্ত নোডে আরও ভাগ বা পার্টিশন করা হবে)। থামার ওপর, নোডটি একটি লিফে রূপান্তরিত হয়। লিফটি সাবসেট স্যাম্পলের মধ্যে সবচেয়ে কমন ক্লাস বা সেই স্যাম্পলগুলোর প্রোবাবিলিটি ডিস্ট্রিবিউশন ইনফ্লুয়েন্স করতে পারে।
ট্রি তৈরি করার সময়, স্ট্যাটিস্টিক্যাল সিগনিফিকেন্স, x², ইনফরমেশন গেইন, ইত্যাদি মেজার ব্যবহার করা যায় একটি স্প্লিটের যোগ্যতা নির্ধারণ করতে। যদি একটি নোডে স্যাম্পল পার্টিশন করার ফলাফল একটি স্প্লিট দেয় যা একটি প্রি-স্পেসিফাইড থ্রেশহোল্ড-এর নিচে পড়ে, তবে দিয়ে गये সাবসেটের পার্টিশনিং থামানো হয়। উপযুক্ত থ্রেশহোল্ড বেছে নেওয়ায় সমস্যা রয়েছে। উচ্চ থ্রেশহোল্ড ওভারসিম্প্লিফাইড ট্রি দিতে পারে, যখন কম থ্রেশহোল্ড খুব কম সিম্প্লিফিকেশন দিতে পারে।
পোস্ট-প্রুনিং পদ্ধতি (Post-pruning Approach)
পোস্ট-প্রুনিং পদ্ধতিতে "পুরোপুরি বড়" একটি ট্রি থেকে ব্রাঞ্চ অপসারণ করা হয়। একটি ট্রি নোড প্রুন করা হয় এর ব্রাঞ্চগুলো অপসারণ করে। কস্ট কমপ্লেক্সিটি প্রুনিং অ্যালগরিদম পোস্ট-প্রুনিং পদ্ধতির একটি উদাহরণ। প্রুনড নোড একটি লিফে রূপান্তরিত হয় এবং এর পূর্বের ব্রাঞ্চগুলোর মধ্যে সবচেয়ে কমন ক্লাস দিয়ে লেবেল করা হয়।
ট্রির প্রতিটি নন-লিফ নোডের জন্য, অ্যালগরিদম এক্সপেক্টেড এরর রেট কম্পিউট করে যা ঘটবে যদি সাবট্রি সেই নোডে প্রুন করা হয়। তারপর, নোড প্রুন না করা হলে এক্সপেক্টেড এরর রেট কম্পিউট করা হয় প্রতিটি ব্রাঞ্চের এরর রেট ব্যবহার করে, ওজন দিয়ে যেন প্রতিটি ব্রাঞ্চের সাথে অবজারভেশন ডাইমেনশন অনুযায়ী। যদি নোড প্রুন করলে উচ্চতর এক্সপেক্টেড এরর রেট হয়, তবে সাবট্রি সংরক্ষিত থাকে। অথবা, এটি প্রুন করা হয়।
ক্রমবর্ধমান প্রুনড ট্রির একটি সেট তৈরি করার পর, একটি স্বতন্ত্র টেস্ট সেট প্রতিটি ট্রির এফিশিয়েন্সি অনুমান করতে পারে। যে ডিসিশন ট্রি এক্সপেক্টেড এরর কস্ট কমিয়ে আনে, সেটি পছন্দ করা হয়।
