সিমিলারিটি মেজারের অ্যাপ্লিকেশনগুলো কী?

সিমিলারিটি মেজার কিছু ডেটা মাইনিং ডিসিশনের ফ্রেমওয়ার্ক প্রদান করে। ক্লাসিফিকেশন এবং ক্লাস্টারিংর মতো টাস্ক সাধারণত কিছু সিমিলারিটি মেজারের অস্তিত্ব বিবেচনা করে, যখন সিমিলারিটি ইভ্যালুয়েট করার দুর্বল কৌশলवाले ফিল্ডগুলোعلومات খুঁজে বের করা কষ্টসাধ্য বলে পায়।

সিমিলারিটি মেজারের ব্যবহারক্ষেত্র

ইনফরমেশন রিট্রিভাল (Information Retrieval)

ইনফরমেশন রিট্রিভাল (IR) সিস্টেমের লক্ষ্য ব্যবহারকারীর প্রয়োজন পূরণ। অন্য কথায়, একটি প্রয়োজন সাধারণত একটি ছোট টেক্সটুয়াল কোয়েরি হিসেবে প্রকাশ পায় যেটি অনলাইন সার্চ ইঞ্জিনের টেক্সট বক্সে ইনপুট করা হয়। IR সিস্টেম সাধারণত সরাসরি কোয়েরির উত্তর দেয় না, বরং একটি র‍্যাঙ্কড লিস্ট প্রেজেন্ট করে রেকর্ডের যেগুলো কিছু সিমিলারিটি মেজার দ্বারা সেই কোয়েরির সাথে রিলেভান্ট বলা হয়।

যেহেতু সিমিলারিটি মেজার একটি কোয়েরি নিয়ে ইনফরমেশনকে ক্লাস্টার ও ক্লাসিফাই করে, ব্যবহারকারীরা সাধারণত তাদের ইনফরমেশন 니ডের নতুন ব্যাখ্যা পায় যা কোয়েরি রিফর্মুলেট করার সময় উপকারী বা অনুপকারী হতে পারে।

যখন কোয়েরি আসল সেট থেকে একটি রেকর্ড হয়, সিমিলারিটি মেজার একটি কালেকশনের ভিতরে রেকর্ড ক্লাস্টার ও ক্লাসিফাই করতে ব্যবহার করা যায়। সংক্ষেপে, সিমিলারিটি মেজার একটি পূর্বে آنস্ট্রাকচারড সেটে একটি রুডিমেন্টারি আর্কিটেকচার যোগ করতে পারে।

মোটিভেশন (Motivation)

IR সিস্টেমে ব্যবহৃত সিমিলারিটি মেজার পুরো ডেটাসেটের ধারণাকে বিকৃত করতে পারে। উদাহরণস্বরূপ, যদি একজন ব্যবহারকারী একটি সার্চ ইঞ্জিনে কোয়েরি টাইপ করে এবং টপ টেন রিটার্নড ওয়েব পেজে সন্তোষজনক উত্তর না পায়, তবে সে সাধারণত এক বা দুবার কোয়েরি রিফর্মুলেট করার চেষ্টা করে।

ক্লাসিক সিমিলারিটি মেজার (Classic Similarity Measures)

একটি সিমিলারিটি মেজার সংজ্ঞায়িত করা হয় k আকারের দুটি টাপলের জোড়া থেকে একটি স্কেলার নম্বরে ম্যাপিং হিসেবে। কনভেনশন অনুযায়ী, সব সিমিলারিটি মেজারকে [-1, 1] বা [0, 1] রেঞ্জে ম্যাপ করা উচিত, যেখানে সিমিলারিটি স্কোর ১ সর্বোচ্চ সিমিলারিটি নির্দেশ করে। সিমিলারিটি মেজারের বৈশিষ্ট্য হওয়া উচিত যেন তাদের মান বেড়ে যাচ্ছে যখন তুলনা করা দুটি আইটেমের মধ্যে সাদৃশ্যের বৈশিষ্ট্যগুলো বেড়ে।

ডাইস (Dice)

ডাইস কোইফিশিয়েন্ট হলো প্রিসিশন ও রিকল মেজারের হারমনিক মিনের জেনারেলাইজেশন। একটি সিস্টেম যেটির উচ্চ হারমনিক মিন থাকে সেটি তত্ত্ব상으로 একটি আদর্শ রিট্রিভাল সিস্টেমের কাছাকাছি যেন মনে হয় কারণ এটি হাই রিকলে হাই প্রিসিশন মান ম্যানেজ করতে পারে। প্রিসিশন ও রিকলের হারমনিক মিন দিয়ে দেওয়া হলো:

$$E=\frac{2}{\frac{1}{P}+\frac{1}{R}}$$

যখন ডাইস কোইফিশিয়েন্ট দ্বারা উপস্থাপিত:

$$sim(d,d_{j})=D(A,B)=\frac{|A\cap B|}{\alpha|A|+(1-\alpha)|B|}\cong \frac{\propto \sum_{k=1}^{n}w_{kq}w_{kj}}{\propto \sum_{k=1}^{n}\mathrm{w}_{kq}^{2}+(1-\propto)\sum_{k=1}^{n}\mathrm{w}_{kj}^{2}}$$

যেখানে α ∈ [0, 1]। দেখা যাচ্ছে ডাইস কোইফিশিয়েন্ট একটি ওয়েটেড হারমনিক মিন, α = ½ দিয়ে।

ওভারল্যাপ (Overlap)

ওভারল্যাপ কোইফিশিয়েন্ট দুটি সেট কতটুকু ওভারল্যাপ করে সেটা নির্ধারণ করার চেষ্টা করে। ওভারল্যাপ কোইফিশিয়েন্ট হিসাব করা হয়:

$$sim(d,d_{j})=D(A,B)=\frac{|A\cap B|}{min(|A|,|B|)}\cong \frac{\propto \sum_{k=1}^{n}w_{kq}w_{kj}}{\propto \sum_{k=1}^{n}\mathrm{w}_{kq}^{2}+\sum_{k=1}^{n}\mathrm{w}_{kj}^{2}}$$

ওভারল্যাপ কোইফিশিয়েন্ট মিন অপারেটরের বদলে ম্যাক্স অপারেটর ব্যবহার করে হিসাব করা হয়।