ডেটা ওয়ারহাউস প্রক্রিয়া
ডেটা স্টেজিং একটি প্রধান প্রক্রিয়া যাতে নিম্নলিখিত সাব-প্রক্রিয়া রয়েছে:
এক্সট্র্যাক্টিং (Extracting)
এক্সট্র্যাক্ট স্টেপ হল ডেটা ওয়ারহাউস পরিবেশে তথ্য আনার প্রথম ফেজ। এক্সট্র্যাক্টিং মানে সোর্স ডেটা পড়া ও শেখা, এবং ডেটা স্টেজিং এলাকায় আরও কাজের জন্য প্রয়োজনীয় উপাদান কপি করা।
ট্রান্সফরমিং (Transforming)
যেহেতু ডেটা ডেটা স্টেজিং এলাকায় এক্সট্র্যাক্ট করা হয়, তখন বেশ কিছু সম্ভাব্য ট্রান্সফরমেশন প্রক্রিয়া রয়েছে:
- ডেটা ক্লিন করা বানান ভুল সংশোধন করে, ডোমেন দ্বন্দ্ব সমাধান করে (যেমন: একটি সিটি নাম যা একটি পোস্টাল কোডের সাথে অসামঞ্জস্যপূর্ণ), অনুপস্থিত ডেটা উপাদান নিয়ে কাজ করে, এবং স্ট্যান্ডার্ড ফরম্যাটে রূপান্তর করে।
- লিগেসি রেকর্ড থেকে বেছে নেওয়া ফিল্ড পರ್ಜ করা যাতে ডেটা ওয়ারহাউসে উপকারী নয়।
- ডেটা উৎস একত্রিত করা, কী মান দিয়ে সঠিকভাবে মিলিয়ে বা নন-কী অ্যাট্রিবিউটে ফাজি ম্যাচ প্রয়োগ করে, যেমন: লিগেসি সিস্টেম কোডের টেক্সটুয়াল সমান লুকআপ করা।
- প্রতিটি ডাইমেনশন ডেটার জন্য সারোগেট কী তৈরি করা লিগেসি-সংজ্ঞায়িত কীর উপর নির্ভরতা এড়াতে, যেখানে সারোগেট কী জেনারেশন প্রক্রিয়া ডাইমেনশন টেবিল এবং ফ্যাক্ট টেবিলের মধ্যে রেফারেনশিয়াল ইন্টিগ্রিটি বাস্তবায়ন করে।
- সাধারণ কোয়ারীর কর্মক্ষমতা বাড়ানোর জন্য এ্যাগ্রিগেট তৈরি করা।
লোডিং এবং ইন্ডেক্সিং (Loading and Indexing)
ট্রান্সফরমেশন ফেজের শেষে, ডেটা লোড ডেটা ইমেজের ডিজাইনে থাকে। ডেটা ওয়ারহাউস পরিবেশে লোডিং সাধারণত ডাইমেনশন টেবিল এবং ফ্যাক্ট টেবিল রিফ্লেক্ট করার আকার নেয় এবং প্রতিটি প্রাপক ডেটা মার্টের সাইজ লোডিং সুবিধা দিয়ে এই টেবিলগুলোকে বৈশিষ্ট্যযুক্ত করে।
কোয়ালিটি অ্যাশুরেন্স চেকিং (Quality Assurance Checking)
যখন প্রতিটি ডেটা মার্ট লোড এবং ইন্ডেক্স করা হয়েছে এবং উপযুক্ত এ্যাগ্রিগেটসহ সরবরাহ করা হয়েছে, প্রচারের আগে চূড়ান্ত ধাপ হল কোয়ালিটি অ্যাশুরেন্স ধাপ। কোয়ালিটি অ্যাশুরেন্স সম্পূর্ণরূপে লোড করা ডেটার পুরো সেটের ওপর একটি ব্যাপক এক্সেপশন রিপোর্ট চালিয়ে চেক করা যেতে পারে।
সকল রিপোর্টিং উপাদান উপস্থিত থাকা উচিত, এবং সকল কাউন্ট এবং টোটাল যথার্থ হওয়া উচিত। সকল রিপোর্টেড মান তাদের আগে অনুমান করা একই মানের সময় ক্রমানুসারের সাথে নির্ভরশীল হওয়া উচিত। এক্সেপশন রিপোর্ট ডেটা মার্টের এন্ড-ব্যবহারকারী রিপোর্ট রাইটিং সুবিধা দিয়ে নির্মিত।
রিলিজ/প্রকাশনা (Release/Publishing)
যখন প্রতিটি ডেটা মার্ট বর্তমানভাবে লোড এবং কোয়ালিটি অ্যাসাপ্ট করা হয়েছে, ব্যবহারকারী কমিউনিটিকে অবগত করা উচিত যে নতুন রেকর্ড প্রস্তুত। প্রকাশনা এছাড়া মূল ডাইমেনশনে যেকোনো পরিবর্তন এবং পরিমাপকৃত বা গণনা করা ফ্যাক্টে معرفی করা নতুন অনুমানের প্রকৃতি জানায়।
কোয়ারিং (Querying)
কোয়ারিং হল একটি ব্যাপক শব্দ যা একটি ডেটা মার্ট থেকে তথ্য অনুরোধ করার সকল কার্যকলাপকে ঘেরে rakhe, যেমন: এন্ড-ব্যবহারকারীর অ্যাড-হোক কোয়ারিং, রিপোর্ট রাইটিং, জটিল ডিসিশন সাপোর্ট অ্যাপ্লিকেশন, মডেল থেকে অনুরোধ, এবং জটিল ডেটা মাইনিং।
