ডেটা গুদামজাতকরণ একটি কৌশল যা মূলত ব্যবসাকে একটি অর্থপূর্ণ ব্যবসার অন্তর্দৃষ্টি দেওয়ার জন্য বিভিন্ন উত্স থেকে ডেটা সংগ্রহ এবং পরিচালনা করতে ব্যবহৃত হয়। একটি ডেটা গুদাম বিশেষভাবে পরিচালনার সিদ্ধান্তগুলিকে সমর্থন করার জন্য ডিজাইন করা হয়েছে৷
সহজ ভাষায়, একটি ডেটা গুদাম বলতে একটি ডাটাবেসকে বোঝায় যা একটি প্রতিষ্ঠানের অপারেশনাল ডাটাবেস থেকে আলাদাভাবে রক্ষণাবেক্ষণ করা হয়। ডেটা গুদাম সিস্টেম একাধিক অ্যাপ্লিকেশন সিস্টেমের একীকরণ সক্ষম করে। তারা বিশ্লেষণের জন্য একত্রিত, ঐতিহাসিক তথ্যের একটি কঠিন প্ল্যাটফর্ম সমর্থন করে ডেটা প্রক্রিয়াকরণ প্রদান করে।
ডেটা গুদামগুলি বহুমাত্রিক এলাকায় তথ্যকে সাধারণীকরণ এবং একীভূত করে। ডেটা গুদামগুলির নির্মাণের মধ্যে ডেটা পরিষ্কার করা, ডেটা একীকরণ এবং ডেটা রূপান্তর অন্তর্ভুক্ত রয়েছে এবং ডেটা মাইনিংয়ের জন্য একটি প্রয়োজনীয় প্রাক-প্রসেসিং পদক্ষেপ হিসাবে বিবেচিত হতে পারে। এই টুলস এবং ইউটিলিটিগুলি নিম্নলিখিত ফাংশনগুলি জড়িত -
ডেটা নিষ্কাশন
ডেটা পরিষ্কার করা − ডেটা ক্লিনিং মানে অনুপস্থিত মান পূরণ করে ডেটা পরিষ্কার করা, কোলাহলপূর্ণ ডেটা মসৃণ করা, বহিরাগতদের সনাক্ত করা এবং অপসারণ করা এবং ডেটার অসঙ্গতিগুলি সরিয়ে দেওয়া৷
ডেটা পরিষ্কারের প্রকারগুলি
-
অনুপস্থিত মান − অনুপস্থিত মান যথাযথ মান দিয়ে পূর্ণ। মান পূরণ করার পন্থা নিম্নরূপ।
-
কোলাহলপূর্ণ ডেটা - গোলমাল হল একটি পরিমাপিত ভেরিয়েবলের এলোমেলো ত্রুটি বা বৈচিত্র। নিচে শব্দ পরিচালনা করার মসৃণ কৌশল রয়েছে যা নিম্নরূপ -
-
বিনিং − এই কৌশলগুলি একটি বাছাই করা ডেটা মানকে মসৃণ করে তার "প্রতিবেশী" উপদেষ্টা দ্বারা, যথা, কোলাহলপূর্ণ ডেটা সম্পর্কে মানগুলি। সাজানো মানগুলি একাধিক বালতি বা বিনে বরাদ্দ করা হয়। যেহেতু বিনিং পদ্ধতিগুলি মানগুলির আশেপাশের সাথে পরামর্শ করে, তারা স্থানীয় মসৃণতা প্রয়োগ করে৷
-
রিগ্রেশন - রিগ্রেশন সহ একটি ফাংশনে রেকর্ডগুলি ফিট করে ডেটা মসৃণ করা যেতে পারে। রৈখিক রিগ্রেশনের মধ্যে দুটি বৈশিষ্ট্য (বা ভেরিয়েবল) ফিট করার জন্য "সেরা" লাইন খুঁজে পাওয়া জড়িত যাতে একটি বৈশিষ্ট্য অন্যটির পূর্বাভাস দিতে ব্যবহার করা যেতে পারে। মাল্টিপল লিনিয়ার রিগ্রেশন হল লিনিয়ার রিগ্রেশনের ধারাবাহিকতা, যেখানে দুটির বেশি অ্যাট্রিবিউট অন্তর্ভুক্ত করা হয় এবং ডেটা একটি মাল্টিডাইমেনশনাল সারফেসে ফিট থাকে।
-
ক্লাস্টারিং - ক্লাস্টারিং বহিরাগতদের সনাক্ত করতে সাহায্য করে। অনুরূপ মানগুলি ক্লাস্টারে সংগঠিত হয় এবং যে মানগুলি ক্লাস্টারের বাইরে পড়ে সেগুলিকে বলা হয় আউটলিয়ার৷
-
ডেটা ট্রান্সফরমেশন − ডেটা ট্রান্সফরমেশনে, ডেটা মাইনিংয়ের জন্য উপযুক্ত ফর্মগুলিতে রূপান্তরিত বা একত্রিত হয়। ডেটা ট্রান্সফরমেশন নিম্নলিখিত −
কে জড়িত করতে পারে-
মসৃণ - এটি ডেটা থেকে শব্দ অপসারণ করতে কাজ করতে পারে। এই ধরনের কৌশলগুলির মধ্যে রয়েছে বিনিং, রিগ্রেশন এবং ক্লাস্টারিং।
-
সমষ্টি − একত্রীকরণে, যেখানে ডেটাতে সারাংশ বা একত্রীকরণ ক্রিয়াকলাপ প্রয়োগ করা হয়৷
-
সাধারণকরণ − সাধারণীকরণে, যেখানে নিম্ন-স্তরের বা "আদিম" (কাঁচা) ডেটা বৃহত্তর-স্তরের ধারণা দ্বারা ধারণার স্তরবিন্যাস ব্যবহারের মাধ্যমে পুনরুদ্ধার করা হয়৷
লোড করুন − এটি সাজাতে পারে, সংক্ষিপ্ত করতে পারে, একত্রিত করতে পারে, ভিউ গণনা করতে পারে, অখণ্ডতা পরীক্ষা করতে পারে এবং সূচক এবং পার্টিশন তৈরি করতে পারে
রিফ্রেশ করুন৷ - এটি ডেটা উৎস থেকে ডেটা গুদামে আপডেটগুলি প্রচার করতে পারে৷
৷