ডেটা মাইনিং-এ একটি সাধারণ সমস্যা হল একটি রিগ্রেশন ইকুয়েশন ব্যবহার করে একটি ডিপেনডেন্ট ভেরিয়েবলের ভ্যালু প্রেডিক্ট করা যখন অনেক ভেরিয়েবল উপলব্ধ থাকে প্রিডিক্টর হিসেবে এই মডেলে সিলেক্ট করার জন্য।
একটি অন্য বিবেচনা হল অনেক ভেরিয়েবল ইনক্লুড করার আশায় যে একটি পূর্বে লুকানো সম্পর্ক উদ্ভব করবে। উদাহরণস্বরূপ, একটি কোম্পানি খুঁজে পায় যে কাস্টমাররা যারা চেয়ার ও টেবিলের পায়ের জন্য অ্যান্টি-স্কাফ প্রোটেক্টর কেনেছে সেগুলোর ক্রেডিট রিস্ক কম।
সব ভেরিয়েবল ঢুকানোর আগে সতর্কতা
সম্ভাব্য সব ভেরিয়েবল একটি মডেলে ঠেলে দেওয়ার আগে সতর্কতা রক্ষার বেশ কিছু কারণ রয়েছে:
প্রেডিক্টড প্রেডিকশন জন্য প্রিডিক্টরের পূর্ণ সমর্থন সংগ্রহ করা খুব ব্যয়বহুল বা অসম্ভব হতে পারে।
কম প্রিডিক্টর আরও সঠিকভাবে এস্টিমেট করা সম্ভব (যেমন, সার্ভে-এ)।
প্রিডিক্টর যত বেশি, ডেটাতে মিসিং ভ্যালুর চান্স তত বেশি। যদি আমরা মিসিং ভ্যালুযুক্ত রেকর্ড ডিলেট বা ইমপিউট করি, অধিক প্রিডিক্টর হাই রেট অফ রেকর্ড ডিলেশন বা ইমপিউটেশনে 이끕্ত করবে।
পার্সিমনি (Parsimony) ভালো মডেলের একটি অতিআবশ্যক বৈশিষ্ট্য। কম প্যারামিটারযুক্ত মডেলে প্রিডিক্টরের প্রভাবের উপরে আরও ইনসাইট প্রাপ্ত হয়।
রিগ্রেশন কোইফিসিয়েন্টের এস্টিমেট অস্পষ্ট হতে পারে, মাল্টিকোলিনিয়ারিটির কারণে অনেক ভেরিয়েবলযুক্ত মডেলে। (মাল্টিকোলিনিয়ারিটি হল দুই বা অধিক প্রিডিক্টারের উপস্থিতি যারা আউটকাম ভেরিয়েবলের সাথে একই লিনিয়ার সম্পর্ক শেয়ার করে।)
রিগ্রেশন কোইফিসিয়েন্ট পারসিমোনিয়াস মডেলের জন্য রবাস্ট। একটি খুব রফ রুল অফ থাম্ব হল রেকর্ডের সংখ্যা n, 5(p + 2) থেকে বড় থাকা, যেখানে p হল প্রিডিক্টরের সংখ্যা।
দেখানো যেতে পারে যে আউটকাম ভেরিয়েবলের সাথে অনকোরিলেটেড প্রিডিক্টর ব্যবহার করা প্রেডিকশনের ভ্যারিয়েন্স বাড়ায়।
দেখানো যেতে পারে যে আউটকাম ভেরিয়েবলের সাথে কোরিলেটেড প্রিডিক্টর ড্রপ করা প্রেডিকশনের গড় এরর (বায়াস) বাড়াতে পারে।
শেষ দুটি পয়েন্ট নির্দেশ করে যে টু ফিউ এবং টু মেনি প্রিডিক্টরের মধ্যে একটি ট্রেড-অফ রয়েছে। সাধারণত, কিছু বায়াস গ্রহণ করলে প্রেডিকশনে ভ্যারিয়েন্স কমানো যায়। এই বায়াস-ভ্যারিয়েন্স ট্রেড-অফ বিশেষত প্রাসঙ্গিক বহু প্রিডিক্টরের জন্য কারণ সম্ভবত মডেলে কিছু ভেরিয়েবল রয়েছে যাদের ছোট কোইফিসিয়েন্ট নয়েজের স্ট্যান্ডার্ড ডেভিয়েশনের সাপেক্ষে এবং আপেক্ষিকভাবে মডারেট কোরিলেশন অন্য ভেরিয়েবলসের সাথে।
এই ধরনের ভেরিয়েবল ড্রপ করলে প্রেডিকশন উন্নত হয়, কারণ এটি প্রেডিকশন ভ্যারিয়েন্স কমায়। এই ধরনের বায়াস-ভ্যারিয়েন্স ট্রেড-অফ প্রেডিকশন ও ক্লাসিফিকেশনের জন্য ডেটা মাইনিং প্রসিডিউরের একটি অতিআবশ্যক উপাদান।
