ডেটা মাইনিং-এ সাপোর্ট এবং কনফিডেন্স কেন ব্যবহার করা হয়?

সাপোর্ট একটি ব্যাপক মাপকাঠি কারণ খুব কম সাপোর্টવાલা নিয়ম সহজে চান্সে আসতে পারে। কম সাপোর্টওয়ালা নিয়ম ব্যবসা দৃষ্টিকোণ থেকে নিরসও হতে পারে কারণ ব্যবহারকারী কদাচিৎ একসাথে কেনা আইটেমগুলো প্রচার করার লাভ নেই।

একটি অ্যাসোসিয়েশন রুল হলো X→Y ফর্মের একটি ইমপ্লিকেশন বিবৃতি, যেখানে X এবং Y ডিসজয়েন্ট আইটেমসেট, অর্থাৎ X∩Y=φ। একটি অ্যাসোসিয়েশন রুলের বല তার সাপোর্ট এবং কনফিডেন্স দিয়ে মাপা যায়। সাপোর্ট নির্ধারণ করে একটি নিয়ম কতটুকু প্রদত্ত ডেটাসেটে প্রযোজ্য, আর কনফিডেন্স নির্ধারণ করে Y-র আইটেমগুলো X অন্তর্ভুক্ত ট্রানজ্যাকশনে কতবার আসে।

কনফিডেন্স একটি নিয়ম দ্বারা তৈরি অনুমানের নির্ভুলতা মাপে। একটি X→Y রুলের জন্য, কনফিডেন্স যত বেশি, X অন্তর্ভুক্ত ট্রানজ্যাকশনে Y উপস্থিত থাকার সম্ভাবনা তত বেশি। কনফিডেন্স X দিয়ে Y-এর কন্ডিশনাল প্রোবেবিলিটির একটি অনুমানও দেয়।

অ্যাসোসিয়েশন অ্যানালাইসিসের ফলাফল সাবধানতার সাথে ব্যাখ্যা করতে হয়। একটি অ্যাসোসিয়েশন রুল দ্বারা তৈরি অনুমান অনিবার্যভাবে কারণসাম্পর্ক্য বোঝায় না। বরং এটি রুলের অ্যান্টেসিডেন্ট এবং কনসিকোয়েন্টের উপাদানগুলোর মধ্যে শক্তিশালী কো-অকরেন্স সম্পর্ক ইঙ্গিত করে। কারণসাম্পর্ক্য তথ্যের কারণ ও ফল অ্যাট্রিবিউট সম্পর্কে জ্ঞান দায় এবং সাধারণত সময়ের সাথে সম্পর্কিত সম্পর্ক ধারণ করে।

অ্যাসোসিয়েশন রুল মাইনিং সমস্যাকে নিচের মতো bàyান করা যায়:

অ্যাসোসিয়েশন রুল ডিসকভারি (Association Rule Discovery)

একটি ট্রানজ্যাকশন সেট T দেওয়া থাকলে, সাপোর্ট ≥ minsup এবং কনফিডেন্স ≥ minconf থাকা সব নিয়ম আবিষ্কার করতে হবে, যেখানে minsup এবং minconf হলো সমতুল্য সাপোর্ট এবং কনফিডেন্স থ্রেশহোল্ড।

অ্যাসোসিয়েশন রুল মাইন করার একটি ব্রুট-ফোর্স পদ্ধতি হলো প্রতিটি প্রযোজ্য রুলের সাপোর্ট এবং কনফিডেন্স ক্যালকুলেট করা। এই পদ্ধতি অত্যন্ত ব্যয়বহুল কারণ একটি ডেটাসেট থেকে এক্সপোনেনশিয়ালি অনেক রুল निकाला যায়।

অ্যাসোসিয়েশন রুল মাইনিং অ্যালগরিদমের পারফরম্যান্স উন্নত করার একটি প্রাথমিক ধাপ হলো সাপোর্ট এবং কনফিডেন্স প্রয়োজনীয়তা আলাদা করা। যদি আইটেমসেট ইনফ্রিকোয়েন্ট হয়, তবে সব ছয় ক্যান্ডিডেট রুল সরাসরি প্রুন করা যায় তাদের কনফিডেন্স ভ্যালু ক্যালকুলেট করা ছাড়া।

অতএব, বেশির ভাগ অ্যাসোসিয়েশন রুল মাইনিং অ্যালগরিদম যে সাধারণ কৌশল অবলম্বন করে সেটি হলো সমস্যাকে দুটি প্রধান সাবটাস্কে ভাগ করা:

ফ্রিকোয়েন্ট আইটেমসেট জেনারেশন (Frequent Itemset Generation)

লক্ষ্য হলো থ্রেশহোল্ড সন্তুষ্টকারী সব আইটেমসেট খুঁজে বের করা। এদের ফ্রিকোয়েন্ট আইটেমসেট বলা হয়।

রুল জেনারেশন (Rule Generation)

লক্ষ্য হলো পূর্ববর্তী ধাপে আবিষ্কৃত ফ্রিকোয়েন্ট আইটেমসেট থেকে হাই-কনফিডেন্স রুল বের করা। এদের স্ট্রং রুল বলা হয়। ফ্রিকোয়েন্ট আইটেমসেট জেনারেশনের কম্পিউটেশনাল প্রয়োজনীয়তা সাধারণত রুল জেনারেশন চেয়ে বেশি ব্যয়বহুল।