KDD (Knowledge Discovery in Databases) প্রসেস
KDD অর্থাৎ Knowledge Discovery in Databases। এটি ডেটায় জ্ঞান আবিষ্কার করার ব্যাপক প্রক্রিয়াকে বর্ণনা করে এবং নির্দিষ্ট ডেটা মাইনিং কৌশলগুলির হাই-লেভেল অ্যাপ্লিকেশনে জোর দেয়। এটি কৃত্রিম বুদ্ধিমত্তা, মেশিন লার্নিং, প্যাটার্ন রিকগনিশন, ডেটাবেস, সাংখ্যিক, এক্সপার্ট সিস্টেমের জন্য নলেজ অ্যাকোইজিশন, এবং ডেটা ভিজ্যুয়ালাইজেশন-এর গবেষকদের জন্য আগ্রহের বিষয়।
KDD প্রসেসের মূল লক্ষ্য হল তথ্য থেকে জ্ঞান বের করা বড় ডেটাবেসের প্রেক্ষাপটে। এটি ডেটা মাইনিং অ্যালগরিদম ব্যবহার করে সেটি করে যা জ্ঞান হিসেবে বিবেচিত।
Knowledge Discovery in Databasesকে একটি প্রোগ্রামড, এক্সপ্লোরেটরি অ্যানালাইসিস এবং বড় ডেটা রিপোজিটরির মডেলিং হিসেবে বিবেচনা করা হয়। KDD হল বড় এবং জটিল ডেটা সেট থেকে বৈধ, সহায়ক, এবং বোঝাযোগ্য প্যাটার্ন সনাক্ত করার সিস্টেমেটিক প্রক্রিয়া।
ডেটা মাইনিং KDD প্রসেসের মূল, অর্থাৎ এমন অ্যালগরিদম অনুমান করা যা রেকর্ডস کاैंশান করে, মডেল তৈরি করে, এবং পূর্বে অজানা প্যাটার্ন আবিষ্কার করে। মডেলটি তথ্য থেকে জ্ঞান বের করতে, তথ্য বিশ্লেষণ করতে, এবং তথ্য পূর্বাভাস দিতে ব্যবহৃত হয়।
ডেটা মাইনিং KDD প্রসেসের একটি ধাপ যেটি ডেটা অ্যানালাইসিস এবং আবিষ্কার অ্যালগরিদম প্রয়োগ করে যা, গ্রহণযোগ্য কম্পিউটেশনাল এফিশिएন্সি সীমাবদ্ধতার অধীনে, ডেটার ওপর প্যাটার্ন (বা মডেল) একটি নির্দিষ্ট গণনা করে।
KDD প্রসেসে ডেটাবেস ব্যবহার করা হয় কিছু প্রয়োজনীয় সিলেকশন, প্রিপ্রসেসিং, সাবস্যাম্পলিং, এবং ট্রান্সফরমেশন সহ; ডেটা-মাইনিং পদ্ধতি (অ্যালগরিদম) ব্যবহার করে এনোমারেট করা প্যাটার্ন থেকে; এবং ডেটা মাইনিং-এর ফলাফল মূল্যায়ন করে গণনা করা প্যাটার্নের উপসেট চিহ্নিত করতে যেগুলো জ্ঞান বলে ধরা যায়।
নলেজ ডিসকভারি প্রসেসে জড়িত ধাপসমূহ
- সিলেকশন (Selection): ডেটা মাইনিং প্রসেসের জন্য প্রয়োজনীয় ডেটা বিভিন্ন সোর্স থেকে সংগ্রহ করা হয়। তাই প্রথম ধাপ হল একটি ডেটাসেট বেছে নেওয়া বা ভেরিয়েবল বা ডেটা স্যাম্পলের একটি উপসেটে ফোকাস করা যার ওপর আবিষ্কার বাস্তবায়ন করা হবে।
- ডেটা ক্লিনিং এবং প্রিপ্রসেসিং (Data cleaning and preprocessing): প্রসেস দ্বারা ব্যবহার করা ডেটা মিসিং বা ভুল মান ধারণ করতে পারে তাই মৌলিক অপারেশনগুলোর মধ্যে রয়েছে নয়েজ দূর করা, নয়েজ মডেল বা অ্যাকাউন্ট করার জন্য প্রয়োজনীয় তথ্য সংগ্রহ, মিসিং ডেটা ফিল্ড হ্যান্ডল করার কৌশল সিদ্ধান্ত, এবং টাইম-সিকোয়েন্স ইনফরমেশন অ্যাকাউন্ট করা, KDD প্রসেসের দ্বিতীয় ধাপে সম্পন্ন হয়।
- ডেটা ট্রান্সফরমেশন (Data transformation): এই ধাপে টাস্কের লক্ষ্যের ওপর ভিত্তি করে ডেটা উপস্থাপন করার জন্য উপকারী ফিচার খুঁজে বের করা জড়িত। ডায়মেনশনালিটি রিডাকশন বা ট্রান্সফরমেশন পদ্ধতির মাধ্যমে, বিবেচনার অধীন ভেরিয়েবলের কার্যকর সংখ্যা কমানো যায়, বা ডেটার জন্য ইনভেরিয়েন্ট রিপ্রেজেন্টেশন খুঁজে বের করা যায়।
- ডেটা মাইনিং (Data mining): ডেটা মাইনিং টাস্ক যেটি বাস্তবায়ন করা হচ্ছে তার ওপর ভিত্তি করে, এই ধাপে ট্রান্সফর্মড ডেটায় একটি অ্যালগরিদম প্রয়োগ করা হয়, নির্দিষ্ট রিপ্রেজেন্টেশনাল ফর্ম বা নির্দিষ্ট রিপ্রেজেন্টেশনের সেটে আগ্রহের প্যাটার্ন সার্চ করা হয়, যেমন ক্লাসিফিকেশন রুল বা ট্রি, রিগ্রেশন, এবং ক্লাস্টারিং।
- মাইনড প্যাটার্ন ব্যাখ্যা (Interpreting mined patterns): এই ধাপে এক্সট্র্যাক্ট করা প্যাটার্ন এবং মডেলের ভিজ্যুয়ালাইজেশন বা এক্সট্র্যাক্ট করা মডেলে দেওয়া ডেটার ভিজ্যুয়ালাইজেশন জড়িত থাকতে পারে।
