ডেটা ট্রান্সফরমেশন
ডেটা ট্রান্সফরমেশনে, ডেটাকে মাইনিং-যোগ্য ফরমে রূপান্তর বা লিঙ্ক করা হয়। ডেটা ট্রান্সফরমেশন নিম্নলিখিতগুলো অন্তর্ভুক্ত করতে পারে:
- স্মুথিং (Smoothing): এটি ডেটা থেকে নויז দূর করতে কাজ করে। solche কৌশলগুলোর মধ্যে রয়েছে: বিনিং, রিগ্রেশন, এবং ক্লাস্টারিং।
- অ্যাগ্রিগেশন (Aggregation): অ্যাগ্রিগেশনে, যেখানে সারসংক্ষেপ বা অ্যাগ্রিগেশন অপারেশন ডেটার ওপর প্রয়োগ করা হয়।
- জেনারেলাইজেশন (Generalization): জেনারেলাইজেশনে, যেখানে নিম্ন-স্তরের বা "প্রিমিটিভ" (কাঁচা) ডেটা উচ্চ-স্তরের ধারণার দ্বারা প্রতিস্থাপিত হয় কনসেপ্ট হায়ারার্কির মাধ্যমে।
ডেটা ট্রান্সফরমেশন সেবা
ডেটা ট্রান্সফরমেশনের বিভিন্ন সেবা রয়েছে:
ইন্টিগ্রেশন (Integration)
ইন্টিগ্রেশনে রয়েছে সারোগেট কী তৈরি করা, একটি স্কিমা থেকে অন্য স্কিমায় কী ম্যাপ করা, এবং প্রোগ্রামকে সম্পূর্ণ বর্ণনায় ম্যাপ করা। এই ট্রান্সফরমেশনের পিছনে একটি মাস্টার কী লুকআপ টেবিল সমর্থন করার একটি নিহিত কর্তৃত্ব রয়েছে।
স্লোউলি চেঞ্জিং ডাইমেনশন মেইনটেনেন্স (Slowly changing dimension maintenance)
পরিবর্তিত মান শনাক্ত করা এবং সারোগেট কী তৈরি করা একটি জটিল প্রক্রিয়া, কিন্তু এটি স্পেস-ওয়ার্প গণিত নয়। আপনি যদি একটি ডেটা স্টেজিং টুল কিনেন, তাহলে স্লোউলি চেঞ্জিং ডাইমেনশন হ্যান্ডেল করার জন্য বিল্ট-ইন অ্যালগরিদম থাকা উচিত।
ডিনরমালাইজেশন এবং রিনরমালাইজেশন (Denormalization and renormalization)
পৃথক টেবিলের একটি হায়ারার্কিকে ডিনরমালাইজ করে একটি ডাইমেনশনে রূপান্তর করা একটি স্ট্যান্ডার্ড ওয়ারহাউস ট্রান্সফরমেশন প্রক্রিয়া। কিছু ডেটা স্টেজিং টুল স্টার স্কিমা ফিচার অফার করে যা এই ফাংশন স্বয়ংক্রিয়ভাবে করে। আরো, কিছু ডিনরমালাইজেশন ফ্যাক্ট টেবিল ফেজেও ঘটে।
উদাহরণস্বরূপ, একটি আর্থিক স্কিমায় একটি ডাইমেনশন থাকতে পারে যা এমাউন্ট টাইপ, যার মান আক्चুয়াল, বাজেট, বা ফোরকাস্ট। এটি ডেটার কত ডিটেইল আছে তার ওপর নির্ভর করে, এই কলামকে পিভট করে একটি সিংগেল সারিতে তিনটি কলাম ডলার অ্যামাউন্টে রূপান্তর করা বোধগম্য, প্রতিটি এমাউন্ট টাইপের জন্য একটি।
ক্লিনজিং, ডিডুপিং, মার্জ/পার্জ (Cleansing, deduping, merge/purge)
এটি অনেক ডেটা ওয়ারহাউসের জন্য একটি বড় সমস্যা, বিশেষত যেগুলো বাহ্যিক এন্টিটি যেমন কাস্টমার, ব্যবসা, ডাক্তার, এবং রোগীর সাথে জড়িত। এটি একটি জটিল প্রক্রিয়া, কিন্তু বেশ কিছু ভেন্ডর এই সমস্যার জন্য নির্দিষ্ট টুল এবং সেবা অফার করে।
ডেটা টাইপ কনভারশন (Data type conversion)
এতে নিম্ন-স্তরের ট্রান্সফরমেশন রয়েছে একটি ডেটা টাইপ বা ফরম্যাটকে অন্যeksi রূপান্তর করা। এটা IBM-এর মেইনফ্রেম ক্যারেক্টার সেট EBCDIC থেকে ASCII-এ রূপান্তর থেকে শুরু করে ডেট, সংখ্যাসূচক, এবং ক্যারেক্টার রিপ্রেজেন্টেশন এক ডেটাবেস থেকে অন্য ডেটাবেসে রূপান্তর করা পর্যন্ত।
ক্যালকুলেশন, ডেরিভেশন, অ্যালোকেশন (Calculation, derivation, allocation)
এই ট্রান্সফরমেশনগুলো প্রয়োজনীয়তা ফেজে চেনা ব্যবসায়িক নিয়ম প্রয়োগ করতে। নিশ্চিত করুন আপনি যে টুলটি বেছে নিচ্ছেন সেটিতে ফাংশনের একটি সম্পূর্ণ সেট আছে, যার মধ্যে রয়েছে স্ট্রিং ম্যানিপুলেশন, ডেট ও টাইম এরিথম্যাটিক, কন্ডিশনাল স্টেটমেন্ট, এবং বেসিক ম্যাথ।
অ্যাগ্রিগেশন (Aggregation)
অ্যাগ্রিগেশন লোড প্রসেসের কিছু অংশে হ্যান্ডেল করা যেতে পারে, যেহেতু কোন রিসোর্স কোন স্টেজে উপলব্ধ। আপনি যদি এক্সট্র্যাক্ট বা ট্রান্সফরমেশন প্রসেসের অংশ হিসেবে অ্যাগ্রিগেশন গণনা করতে পারেন, তবে সিন্কসোর্টের মতো টুল সরাসরি ফ্ল্যাট রেকর্ডে ব্যবহার করা সম্ভব। এই ইউটিলিটিগুলো সোর্টিং এবং রিপোর্টিং-এ বিকশিত এবং সেগুলো খুব ভালোভাবে কাজ করে।
