ETL মানে এক্সট্রাক্ট, ট্রান্সফর্ম এবং লোড। এটি এমন প্রক্রিয়া যা ডেটা-চালিত সংস্থাগুলি একাধিক উত্স থেকে ডেটা সংগ্রহ করতে ব্যবহার করে এবং তারপর এটিকে আবিষ্কার, প্রতিবেদন, বিশ্লেষণ এবং সিদ্ধান্ত গ্রহণে সহায়তা করার জন্য একত্রিত করে৷
ডেটা উত্সগুলি প্রকার, বিন্যাস, ভলিউম এবং নির্ভরযোগ্যতার মধ্যে ভিন্ন হতে পারে, তাই একসাথে বিতরণ করার সময় সহায়ক হওয়ার জন্য ডেটা প্রক্রিয়াকরণ করা প্রয়োজন। উদ্দেশ্য এবং প্রযুক্তিগত নির্বাহের উপর ভিত্তি করে লক্ষ্য ডেটা স্টোরগুলি ডাটাবেস, ডেটা গুদাম বা ডেটা লেক হতে পারে। ETL-এর নিম্নলিখিত ধাপগুলি রয়েছে যা নিম্নরূপ -
এক্সট্রাক্ট করুন − নিষ্কাশনের সময়, ETL ডেটা চিনতে পারে এবং এটির উত্স থেকে নকল করে, তাই এটি লক্ষ্য ডেটাস্টোরে ডেটা পরিবহন করতে পারে। ফাইল, ইমেল, ব্যবসায়িক সফ্টওয়্যার, ডেটাবেস, সরঞ্জাম, সেন্সর, তৃতীয় পক্ষ, ইত্যাদি সহ কাঠামোগত এবং অসংগঠিত উত্স থেকে ডেটা উপস্থিত হতে পারে৷
নিষ্কাশন করার বিভিন্ন উপায় আছে যেমন
আংশিক নিষ্কাশন − তথ্য অ্যাক্সেস করার সবচেয়ে সহজ উপায় হল যদি কোনো রেকর্ড পরিবর্তন করা হলে সোর্স সিস্টেম আমাদের অবহিত করে।
আংশিক নিষ্কাশন (আপডেট বিজ্ঞপ্তি সহ) − একটি আপডেট সংঘটিত হওয়ার ক্ষেত্রে সমস্ত সিস্টেম একটি ঘোষণা প্রদান করতে পারে না; তবে, তারা সেই রেকর্ডগুলিতে চিহ্নিত করতে পারে যা রূপান্তরিত হয়েছে এবং এই ধরনের রেকর্ডগুলির একটি নির্যাস সমর্থন করতে পারে৷
সম্পূর্ণ নির্যাস − নির্দিষ্ট সিস্টেম শনাক্ত করতে পারে না কোন ডেটা আদৌ পরিবর্তন করা হয়েছে। এই ক্ষেত্রে, একটি সম্পূর্ণ নির্যাস সিস্টেমের বাইরে রেকর্ড বের করার একমাত্র সম্ভাব্যতা। এই পদ্ধতির জন্য একই বিন্যাসে চূড়ান্ত নির্যাসের একটি অনুলিপি থাকা প্রয়োজন যাতে এটি তৈরি করা পরিবর্তনগুলি সনাক্ত করতে পারে৷
রূপান্তর − দ্বিতীয় ধাপে উৎস থেকে আহরিত কাঁচা তথ্যকে একটি বিন্যাসে রূপান্তর করা অন্তর্ভুক্ত যা বিভিন্ন অ্যাপ্লিকেশন দ্বারা ব্যবহার করা যেতে পারে। এই পর্যায়ে, ডেটা পরিষ্কার, ম্যাপ করা এবং রূপান্তরিত হয়েছে, একটি নির্দিষ্ট স্কিমা প্রদান করে, তাই এটি কার্যকরী প্রয়োজনীয়তা খুঁজে পায়।
এই প্রক্রিয়াটির জন্য বিভিন্ন ধরণের রূপান্তর প্রয়োজন যা ডেটার গুণমান এবং অখণ্ডতা প্রদান করে। ডেটা সাধারণত টার্গেট ডেটা সোর্সে সুনির্দিষ্টভাবে লোড করা হয় না, তবে বিকল্পভাবে, এটি একটি স্টেজিং ডাটাবেসে আপলোড করা হয়।
পরিকল্পনা অনুযায়ী কিছু না হলে এই পদক্ষেপটি দ্রুত রোলব্যাক নিশ্চিত করে। এই পর্যায়ে, এটি নিয়ন্ত্রক সম্মতির জন্য অডিট নথি তৈরি করতে পারে, বা কিছু ডেটা সমস্যা নির্ণয় ও মেরামত করতে পারে৷
লোড করুন − ETL রূপান্তরিত তথ্যকে টার্গেট ডেটাস্টোরে নিয়ে যায়। এই পদক্ষেপের জন্য সমস্ত উৎস তথ্যের মূল লোডিং প্রয়োজন হতে পারে, অথবা এটি উৎস তথ্যে ক্রমবর্ধমান পরিবর্তনের লোডিং হতে পারে। এটি রিয়েল-টাইমে বা নির্ধারিত ব্যাচে ডেটা লোড করতে পারে।
