ডেটা ওয়ারহাউজিং হলো একটি পদ্ধতি যা একাধিক সোর্স থেকে ডেটা সংগ্রহ ও হ্যান্ডল করে বিজনেসকে অর্থপূর্ণ বিজনেস ইনসাইট দিতে। একটি ডেটা ওয়ারহাউস বিশেষভাবে ম্যানেজমেন্ট সিদ্ধান্ত সাপোর্ট করার জন্য ডিজাইন করা হয়।
সহজ ভাষায়, একটি ডেটা ওয়ারহাউস হলো একটি ডাটাবেস যা একটি সংগঠনের অপারেশনাল ডাটাবেস থেকে স্বতন্ত্রভাবে মেইনটেইন করা হয়। ডেটা ওয়ারহাউস সিস্টেম একাধিক অ্যাপ্লিকেশন সিস্টেমের ইন্টিগ্রেশন সক্ষম করে। এগুলো কনসোলিডেটেড, ঐতিহাসিক ইনফরমেশনের একটি স olid প্ল্যাটফর্ম অফার করে ডেটা প্রসেসিং-এর জন্য যাতে অ্যানালাইসিস করা যায়।
ডেটা ওয়ারহাউস মাল্টিডাইমেনশনাল স্পেসে ডেটা জেনারালাইজ এবং সেন্ট্রালাইজ করে। ডেটা ওয়ারহাউসের ডেভেলপমেন্টে ডেটা ক্লিনিং, ডেটা ইন্টিগ্রেশন, এবং ডেটা ট্রান্সফরমেশন অন্তর্ভুক্ত থাকে এবং এটিকে ডেটা মাইনিং-এর জন্য একটি গুরুত্বপূর্ণ প্রিপ্রসেসিং স্টেপ হিসেবে দেখা যায়।
OLAP একটি পদ্ধতি যা ডেটা ওয়ারহাউজিংকে ঘিরে রেখেছে। এই মডেলে, ডেটা এমন একটি ফরম্যাটে সংরক্ষিত থাকে যা ডেটা মাইনিং/ডকুমেন্টের দক্ষ সৃষ্টি অনুমতি দেয়। OLAP ডিজাইন বড় রেকর্ডসেটে রিপোর্টিং সমর্থন করা উচিত অপারেশনাল ইফেক্টিভনেসে সামান্য ডিগ্রেডেশন সহ।
OLTP স্ট্রাকচারে ডেটা স্ট্রাকচার নেয়া এবং একই ডেটাকে OLAP আর্কিটেকচারে ইনফ্লুয়েন্স করার পুরো টার্ম হলো "Dimensional Modeling"। এটি ডেটা ওয়ারহাউজিং-এর বুনিয়াদি বিল্ডিং ব্লক।
ডেটা ওয়ারহাউস টেস্টিং ডেটার গুণগত মান চেক করে যেন ডেটা কমপ্লিটেনেস (সকল প্রত্যাশিত ডেটা লোড হয়েছে কিনা) এবং ডেটা ট্রান্সফরমেশন (সকল ডেটা সঠিকভাবে বদলানো হয়েছে কিনা বিয়নেস রুল বা ডিজাইন স্পেসিফিকেশন অনুযায়ী)।
ডেটা ওয়ারহাউস অপারেশনাল এনভায়রনমেন্ট টেস্ট করা একটি অন্য কী সেট অফ টেস্ট যা করতেই হবে। নিচের দিকগুলো টেস্ট করতে হবে:
সিকিউরিটি, যা টেস্ট করা কঠিন যদি ডকুমেন্টেড না হয়, কিন্তু সকল তথ্য প্রকাশ করতে অনুমতি নেই। যদি একটি আলাদা ডেটা ওয়ারহাউস সিকিউরিটি ডকুমেন্ট থাকে, টেস্টিং একটি সাদহারন বিষয় হবে ডিসঅ্যালোড অপারেশনের তালিকা এক্সট্রাক্ট করে প্রতিটি জন্য একটি টেস্ট ডвайস করে। এই টেস্ট সেট সিস্টেম টেস্টিং-এর সময় একাধিকবার চালাতে হবে যাতে নতুন যোগ করা ডেটা সিকিউরিটি কনস্ট্রেইন্ট ভাঙে না।
সিস্টেম টেস্টিং-এর সময়, ডিস্ক কনফিগারেশন ভালোভাবে টেস্ট করা উচিত যাতে কোনো পটেনশিয়াল I/O বটলনেক চিহ্নিত হয়।
ডেটা ওয়ারহাউসের দৈনন্দিন অপারেশন কন্ট্রোল করার জন্য, কিছু শিডিউলিং সফটওয়্যার প্রয়োজন এবং এটিকে সিস্টেম টেস্টিং-এ ভালোভাবে টেস্ট করতে হবে। শিডিউলিং সফটওয়্যারকে স্কেডুলার প্রয়োজন হবে ওভারপ্রসেসিং এবং এগ리게শন ম্যানেজমেন্ট কন্ট্রোল করতে।
ডেটা ওয়ারহাউস টেস্ট করার বিভিন্ন চ্যালেঞ্জ আছে:
- একাধিক সোর্স সিস্টেম থেকে ডেটা সিলেকশন।
- ডেটার ভলিউম এবং জটিলতা।
- ডেটা ওয়ারহাউসে ইনকনসিস্টেন্ট এবং রিডান্ডান্ট ইনফরমেশন।
- কম্প্রিহেনসিভ টেস্টের অপ্রয়োজনীয়তা।
