ROC står করে Receiver Operating Characteristic (রিসিভার অপারেটিং ক্যারেক্টারিস্টিক)। ROC কভার দুটি শ্রেণিবিন্যাস মডেল বিশ্লেষণের জন্য একটি সুবিধাজনক দৃশ্য টুল। ROC কভার সিগন্যাল ডিটেকশন থিওরির থেকে উদ্ভূত, যা দ্বিতীয় বিশ্বযুদ্ধে রডার ছবি খোঁজার জন্য তৈরি হয়েছিল।
ROC কভার কী দেখায়
একটি ROC কভার সত্য পজিটিভ রেট (True Positive Rate) বা সেনসিটিভিটি (পজিটিভ টাপলের অনুপাত যা সঠিকভাবে শনাক্ত হয়েছে) এবং মিথ্যা পজিটিভ রেট (False Positive Rate) (নেগেটিভ টাপলের অনুপাত যা ভুলে পজিটিভ হিসেবে শনাক্ত হয়েছে) এর মধ্যে ট্রেড-অফ প্রদর্শন করে একটি প্রদত্ত মডেলের জন্য।
একটি two-class সমস্যা দেওয়া থাকলে, এটি আমাদের umožlicht করে নিশ্চিত করা যে মডেল কতটুকু সঠিকভাবে 'হ্যাঁ' কেস শনাক্ত করতে পারে বনাম কতটুকু 'না' কেসকে ভুলে 'হ্যাঁ' হিসেবে শনাক্ত করে, টেস্ট সেটের একাধিক "পোর্শন" এর জন্য। সত্য পজিটিভ রেটের যেকোনো বৃদ্ধি মিথ্যা পজিটিভ রেটের বৃদ্ধির খরচে আসে। ROC কভারের নিচের এলাকা (AUC) মডেলের নির্ভুলতার একটি মাপ।
ROC কভার তৈরি করা
একটি শ্রেণিবিন্যাস মডেল M-এর জন্য ROC কভার অঙ্কন করতে, মডেলটি প্রতিটি টেস্ট টাপলের প্রেডিক্টেড ক্লাসের জন্য একটি প্রোবাবিলিটি বা র্যাঙ্ক ফেরত দেওয়া উচিত। টেস্ট টাপলগুলো নিম্নমুখী ক্রমে র্যাঙ্ক করা হয়, যেখানে ক্লাসিফায়ার মনে করে সবচেয়ে বেশি পজিটিভ বা 'হ্যাঁ' ক্লাসের সেটি তালিকার শীর্ষে থাকে।
নেইভ বেসিয়ান এবং ব্যাকপ্রোপাগেশন ক্লাসিফায়ার উপযুক্ত, যেখানে ডিসিশন ট্রি ক্লাসিফায়ার সহজে পরিবর্তন করা যায় যাতে প্রতিটি প্রেডিকশনের জন্য ক্লাস প্রোবাবিলিটি ডিস্ট্রিবিউশন ফেরত দেয়। ROC কভারের লম্ব অক্ষ (vertical axis) সত্য পজিটিভ রেট এবং আড়া অক্ষ (horizontal axis) মিথ্যা পজিটিভ রেট উপস্থাপন করে।
ROC কভার আঁকা
নিচের বাম কোণ থেকে শুরু (যেখানে উভয় রেট ০), তালিকার শীর্ষের টাপলের আসল ক্লাস লেবেল পরীক্ষা করা হয়। যদি সেটি একটি সত্য পজিটিভ হয় (সঠিকভাবে শনাক্ত পজিটিভ টাপল), তবে ROC কভারে উপরে যেতে হবে এবং একটি পয়েন্ট প্লট করতে হবে।
দুটি শ্রেণিবিন্যাস মডেলের ROC কভার দেখা যাক। প্লটে একটি ডায়াগোনাল লাইনও থাকে যেখানে প্রতিটি সত্য পজিটিভের জন্য একটি মিথ্যা পজিটিভ হওয়া সাধারণ। তাই, একটি মডেলের ROC কভার ডায়াগোনাল লাইনের যতটা কাছাকাছি, মডেলটি ততটুকু কম কার্যকর। একটি পארফেক্ট মডেলের জন্য, কভার খুব তীব্রভাবে শূন্য থেকে উপরে যাবে, পরে কম সত্য পজিটিভ পাওয়ায় কভার повече আড়া হবে।
