স্ট্যাটিস্টিক্যাল-ভিত্তিক অ্যালগরিদমের দুটি প্রকার রয়েছে:
রিগ্রেশন (Regression): রিগ্রেশন সমস্যা ইনপুট মান ভিত্তিক আউটপুট মান ইভ্যালুয়েট করার সাথে জড়িত। ক্লাসিফিকেশনের জন্য ব্যবহৃত হলে, ইনপুট মান ডেটাবেস থেকে মান এবং আউটপুট মান ক্লাসগুলো ডিফাইন করে। রিগ্রেশন ক্লাসিফিকেশন সমস্যা সমাধান করতে ব্যবহার করা যায়, কিন্তু এটি ভিন্ন অ্যাপ্লিকেশন-এ ব্যবহৃত হয় যেন ফোরকাস্টিং। রিগ্রেশন এর মৌলিক ফর্ম হলো সিম্পল লিনিয়ার রিগ্রেশন যাতে শুধু এক প্রিডিক্টর এবং এক প্রেডিকশন থাকে।
রিগ্রেশন ক্লাসিফিকেশন বাস্তবায়ন করতে দুটি ভিন্ন পদ্ধতিতে ব্যবহার করা যায়:
ডিভিশন (Division): ডেটা ক্লাস ভিত্তিক রিজনে ভাগ করা হয়।
প্রেডিকশন (Prediction): আউটপুট ক্লাসের মান প্রেডিক্ট করার ফর্মুলা তৈরি করা হয়।
বায়েসিয়ান ক্লাসিফিকেশন (Bayesian Classification): স্ট্যাটিস্টিক্যাল ক্লাসিফায়ার ক্লাসিফিকেশনের জন্য ব্যবহৃত হয়। বায়েসিয়ান ক্লাসিফিকেশন বায়েস থিওরেম ভিত্তিক। বায়েসিয়ান ক্লাসিফায়ার বড় ডেটাবেসে প্রয়োগ করার সময় হাই এফিশিয়েন্সি এবং স্পিড প্রদর্শন করে।
বায়েস থিওরেম (Bayes Theorem)
X একটি ডেটা টাপল। বায়েসিয়ান মেথডে, X কে "এভিডেন্স" হিসেবে বিবেচনা করা হয়। H কিছু হাইপোথেসিস, যেমন ডেটা টাপল X একটি নির্দিষ্ট ক্লাস C-তে বelong করে। প্রোবাবিলিটি P(H|X) ডেটা ডিফাইন করার জন্য নির্ধারিত হয়। এই প্রোবাবিলিটি P(H|X) হলো হাইপোথেসিস H-এর প্রভাব সত্য থাকার প্রোবাবিলিটি যেন "এভিডেন্স" বা অবজার্ভড ডেটা টাপল X দেওয়া আছে।
P(H|X) হলো X কন্ডিশনড H-এর পোস্টেরিয়র প্রোবাবিলিটি। উদাহরণস্বরূপ, ডেটা টাপলের প্রকৃতি সীমাবদ্ধ থাকে ইউজারদের মধ্যে যাদের অ্যাট্রিবিউট বয়স এবং আয়, এবং X হলো ৩০ বছর বয়সী ইউজার যার আয় ২০,০০০ টাকা। ধরা যাক H হলো হাইপোথেসিস যে ইউজার কম্পিউটার কিনবে। তাহলে P(H|X) রিভার্স করে ইউজার X কম্পিউটার কিনবে সেই প্রোবাবিলিটি যেন ইউজারের বয়স ও আয় স্বীকৃত আছে।
P(H) হলো H-এর প্রায়র প্রোবাবিলিটি। উদাহরণস্বরূপ, এটি যেকোনো দিয়ে गये ইউজার কম্পিউটার কিনবে সেই প্রোবাবিলিটি, বয়স, আয়, বা অন্য কোনো ডেটা নির্বিশেষে। পোস্টেরিয়র প্রোবাবিলিটি P(H|X) প্রায়র প্রোবাবিলিটি P(H)-র চেয়ে বেশি ডেটা ভিত্তিক, যা X-র থেকে মুক্ত।
একইভাবে, P(X|H) হলো H কন্ডিশনড X-এর পোস্টেরিয়র প্রোবাবিলিটি। এটি প্রোবাবিলিটি যে একটি ইউজার X ৩০ বছর বয়সী এবং ২০,০০০ টাকা আয় অর্জন করে।
P(H), P(X|H), এবং P(X) প্রদত্ত ইনফরমেশন থেকে মাপা যায়। বায়েস থিওরেম একটি পদ্ধতি প্রদান করে পোস্টেরিয়র প্রোবাবিলিটি P(H|X) কম্পিউট করার, P(H), P(X|H), এবং P(X) থেকে। সূত্র:
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$