ডেটা ওয়ারহাউজিং হলো একটি পদ্ধতি যা একাধিক সোর্স থেকে ডেটা সংগ্রহ ও হ্যান্ডল করে বিজনেসকে অর্থপূর্ণ বিজনেস ইনসাইট দিতে। একটি ডেটা ওয়ারহাউস বিশেষভাবে ম্যানেজমেন্ট সিদ্ধান্ত সাপোর্ট করার জন্য ডিজাইন করা হয়।
সহজ ভাষায়, একটি ডেটা ওয়ারহাউস হলো একটি ডাটাবেস যা একটি সংগঠনের অপারেশনাল ডাটাবেস থেকে স্বতন্ত্রভাবে মেইনটেইন করা হয়। ডেটা ওয়ারহাউস সিস্টেম একাধিক অ্যাপ্লিকেশন সিস্টেমের ইন্টিগ্রেশন সক্ষম করে। এগুলো কনসোলিডেটেড, ঐতিহাসিক ইনফরমেশনের একটি স olid প্ল্যাটফর্ম অফার করে ডেটা প্রসেসিং-এর জন্য যাতে অ্যানালাইসিস করা যায়।
ডেটা ওয়ারহাউস মাল্টিডাইমেনশনাল স্পেসে ডেটা জেনারালাইজ এবং সেন্ট্রালাইজ করে। ডেটা ওয়ারহাউসের কনস্ট্রাকশনে ডেটা ক্লিনিং, ডেটা ইন্টিগ্রেশন, এবং ডেটা ট্রান্সফরমেশন অন্তর্ভুক্ত থাকে এবং এটিকে ডেটা মাইনিং-এর জন্য একটি গুরুত্বপূর্ণ প্রিপ্রসেসিং স্টেপ হিসেবে দেখা যায়।
এটি অনলাইন অ্যানালিটিক্যাল প্রসেসিং (OLAP) টুল প্রদান করে মাল্টিডাইমেনশনাল ডেটার ইন্টারঅ্যাক্টিভ অ্যানালাইসিসের জন্য বিভিন্ন গ্র্যানুলারিটিতে, যা ইফেক্টিভ ডেটা জেনারালাইজেশন এবং ডেটা মাইনিং সুবিধা করে। একাধিক ডেটা মাইনিং ফাংশন, যেন অ্যাসোসিয়েশন, ক্লাসিফিকেশন, প্রেডিকশন, এবং ক্লাস্টারিং OLAP অপারেশনসহ ইন্টিগ্রেট করা যায় বিভিন্ন অ্যাবস্ট্রাকশন লেভেলে ইন্টারঅ্যাক্টিভ নলেজ মাইনিং বিল্ড আপ করতে।
OLAP একটি ব্যাপক টার্ম যা ডেটা ওয়ারহাউজিংকেও ঘিরে রেখেছে। এই মডেলে, ডেটা এমন একটি ফরম্যাটে সংরক্ষিত থাকে যা ডেটা মাইনিং/ডকুমেন্টের দক্ষ সৃষ্টি অনুমতি দেয়। OLAP ডিজাইন বড় রেকর্ডসেটে রিপোর্টিং অ্যাকমোডেট করা উচিত অপারেশনাল ইফেক্টিভনেসে সামান্য ডিগ্রেডেশন সহ।
OLTP স্ট্রাকচারে ডেটা স্ট্রাকচার নেয়া এবং একই ডেটাকে OLAP স্ট্রাকচারে ইনফ্লুয়েন্স করার পুরো টার্ম হলো "Dimensional Modeling"। এটি ডেটা ওয়ারহাউজিং-এর বুনিয়াদি বিল্ডিং ব্লক।
ডেটা ওয়ারহাউস টিউনিং পারফরম্যান্স উন্নত করতে করা হয়। ডেটা ওয়ারহাউস সিস্টেমের এন্ট্রি পয়েন্ট, এবং এটি পারফরম্যান্স উন্নত করার প্রথম সুযোগ প্রদান করে। যদি চেকগুলো ডেটা ওয়ারহাউস সিস্টেমে করা হয়, ডেটা লোড হওয়ার আগে বা পরে, তবে এটি ক্যাপাসিটি এবং সিস্টেমের পারফরম্যান্সে সরাসরি প্রভাব ফেলে।
উদাহরণস্বরূপ, যদি ডেটা টেলিফোন কল রেকর্ড হয়, তবে চেক করা যায় প্রতিটি কলের একটি বৈধ কাস্টমার আইডেন্টিফায়ার আছে কিনা। যদি ডেটা সেলস ইনফরমেশন হয়, তবে চেক করা যায় বিক্রি হওয়া কমডিটির একটি বৈধ প্রোডাক্ট আইডেন্টিফায়ার আছে কিনা।
বড় পরিমাণ ডেটা লোড করা বা হеви I/O অপারেশন করা, CPU ইনটেনসিভ হতে পারে যখন প্রতি রেকর্ডে অনেক চেক এবং ট্রান্সফরমেশন প্রয়োগ করা থাকে। লোডিং স্পিড ডায়রেক্ট লোড টেকনিক ব্যবহার করে উন্নত করা যায়। এটিও প্যারালেলিজম ব্যবহার করে উন্নত করা যায়।
ডেটা ওয়ারহাউস টিউন করার জন্য সেরা পদ্ধতি নিচের ধাপগুলো:
- বিজনেস রুল টিউন করা।
- ডেটা ডিজাইন টিউন করা।
- অ্যাপ্লিকেশন ডিজাইন টিউন করা।
- ডাটাবেসের লজিক্যাল স্ট্রাকচার টিউন করা।
- ডাটাবেস অপারেশন টিউন করা।
- অ্যাক্সেস পাথ টিউন করা।
- I/O এবং ফিজিক্যাল স্ট্রাকচার টিউন করা।
- রিসোর্স কনটেনশন টিউন করা।
- আন্ডারলাইং প্যাটার্ন টিউন করা।
