স্বয়ংক্রিয় ডকুমেন্ট ক্লাসিফিকেশন একটি অপরিহার্য টেক্সট মাইনিং সার্ভিস কারণ অসংখ্য অনলাইন ফাইলের অস্তিত্বে, সেগুলো স্বয়ংক্রিয়ভাবে ক্লাসে সংগঠিত করতে সক্ষম হওয়া অনন্ত হলেও গুরুত্বপূর্ণ, যাতে ডকুমেন্ট রিট্রিভাল এবং পরবর্তী বিশ্লেষণ সহায়তা পায়।
অ্যাপ্লিকেশন
ডকুমেন্ট ক্লাসিফিকেশন ব্যবহৃত হয়: অটোমেটেড টপিক ট্যাগিং (ডকুমেন্টে লেবেল বরাদ্দ), টপিক ডিরেক্টরি নির্মাণ, এবং ডকুমেন্ট লেখার শৈলী শনাক্তকরণ ও হাইপারলিংকের লক্ষ্য নির্ধারণ।
সাধারণ প্রক্রিয়া
- একটি প্রি-ক্লাসিফাইড ফাইলের সেট নেওয়া হয় ট্রেনিং সেট হিসেবে।
- ট্রেনিং সেট বিশ্লেষণ করে একটি ক্লাসিফিকেশন স্কিম তৈরি করা হয়।
- একটি টেস্টিং ফেজ দিয়ে ক্লাসিফিকেশন স্কিম রিফাইন করা হয়।
- এভাবে প্রাপ্ত ক্লাসিফিকেশন স্কিম অনলাইন ফাইলগুলোর ক্লাসিফিকেশনের জন্য ব্যবহার করা হয়।
রিলেশনাল ডেটা vs ডকুমেন্ট ডেটা
এই ফেজটি রিলেশনাল রেকর্ড ক্লাসিফিকেশনের সদৃশ। রিলেশনাল ডেটা ভালোভাবে স্ট্রাকচারড থাকে — প্রতিটি টাপল অ্যাট্রিবিউট-ভ্যালু পেয়ারের একটি সেট দ্বারা বর্ণিত। উদাহরণস্বরূপ, টাপল {sunny, warm, dry, not windy, play tennis}-এ, "sunny" ভ্যালু "weather outlook" অ্যাট্রিবিউটের সাথে মিলে, "warm" "temperature" অ্যাট্রিবিউটের সাথে মিলে, ইত্যাদি।
ক্লাসিফিকেশন অ্যানালাইসিস নির্ধারণ করে কোন অ্যাট্রিবিউট-ভ্যালু পেয়ারের সেট সবচেয়ে বেশি ডিসক্রিমিনেটিং পাওয়ার রাখে একজন ব্যক্তি টেনিস খেলবে কিনা তা সিদ্ধান্ত নেওয়াতে। অন্য কথায়, ডকুমেন্ট ডেটাবেস অ্যাট্রিবিউট-ভ্যালু পেয়ারের অনুযায়ী স্ট্রাকচারড নয়।
একটি ডকুমেন্টের সাথে জড়িত কিওয়ার্ডের সেট একটি ফিক্সড সেট অফ অ্যাট্রিবিউট বা ডাইমেনশনে সংগঠিত নয়। যদি ডকুমেন্টের প্রতিটি স্বতন্ত্র কিওয়ার্ড, টার্ম, বা ফিচারকে একটি ডাইমেনশন হিসেবে দেখি, তবে একটি ডকুমেন্ট সেটে হাজার হাজার ডাইমেনশন থাকতে পারে। তাই, রিলেশনাল ডেটা-ওরিয়েন্টেড ক্লাসিফিকেশন পদ্ধতি (যেমন ডিসিশন ট্রি অ্যানালাইসিস) ডকুমেন্ট ডেটাবেস ক্লাসিফিকেশনের জন্য কার্যকর নয়।
ভেক্টর-স্পেস মডেল এবং k-নিয়ারেস্ট নেইবর ক্লাসিফায়ার
ভেক্টর-স্পেস মডেল অনুযায়ী, দুটি ফাইল সাদৃশ্যমান যদি সেগুলো একই ফাইল ভেক্টর শেয়ার করে। এই মডেল k-নিয়ারেস্ট-নেইবর ক্লাসিফায়ার-এর নির্মাণকে অনুপ্রাণিত করে, এই直覺ের ওপর ভিত্তি করে যে সাদৃশ্যমান ডকুমেন্ট একই ক্লাস লেবেল পাওয়ার আশা করা যায়।
- সব ট্রেনিং ডকুমেন্টকে ইন্ডেক্স করা হয়, প্রতিটি তার সংশ্লিষ্ট ক্লাস লেবেলের সাথে।
- যখন একটি টেস্ট ডকুমেন্ট জমা দেওয়া হয়, সেটিকে একটি কোয়ারি হিসেবে বিবেচনা করে আইআর সিস্টেম থেকে ট্রেনিং সেট থেকে kটি ডকুমেন্ট রিট্রিভ করা হয় যা কোয়ারির সাথে সবচেয়ে বেশি সাদৃশ্যমান, যেখানে k হল একটি টিউনযোগ্য কনস্ট্যান্ট।
- টেস্ট ফাইলের ক্লাস লেবেল তার k নিয়ারেস্ট নেইবরের ক্লাস লেবেল ডিস্ট্রিবিউশনের ওপর ভিত্তি করে নির্ধারিত হয়। এই ডিস্ট্রিবিউশন ও রিফাইন করা যায়, যেমন ওজনযুক্ত কাউন্ট ব্যবহার করে র কাউন্টের বদলে, বা ভ্যালিডেশনের জন্য লেবেলড ডকুমেন্টের একটি অংশ আলাদা রাখে।
