ডেটা এক্সট্র্যাকশন কী?

এক্সট্র্যাকশন হলো একটি সোর্স সিস্টেম থেকে ইনফরমেশন এক্সট্র্যাক্ট করার সার্ভিস ডেটা ওয়ারহাউস এনভায়রনমেন্টে আরও সাহায্যের জন্য। এটি ETL প্রসেসের প্রথম প্রক্রিয়া। এক্সট্র্যাকশনের পর, এই ডেটা ট্রান্সফরম করা হয় এবং ডেটা ওয়ারহাউসে লোড করা হয়। একটি ডেটা ওয়ারহাউসের জন্য সোর্স সিস্টেম সাধারণত ট্রানজেকশন প্রসেসিং সফ্টওয়্যার। একটি সেলস অ্যানালিসিস ডেটা ওয়ারহাউসের জন্য সোর্স সিস্টেম হতে পারে একটি অর্ডার এন্ট্রি সিস্টেম যা বর্তমান সমস্ত অর্ডার এক্টিভিটি রেকর্ড করে।

ডেটা এক্সট্র্যাকশন হলো যেখানে ডেটা বিশ্লেষণ করা হয় এবং প্রাসঙ্গিক ইনফরমেশন ডেটা সোর্স (যেমন ডেটাবেস) থেকে একটি নির্দিষ্ট ডিজাইনে ফেচ করা হয়। ফারথার ডেটা প্রসেসিং সম্পন্ন হয়, যাতে মেটাডেটা ইনসার্ট করা এবং অন্যান্য ডেটা ইন্টিগ্রেশন; ডেটা ওয়ার্কফ্লোয়ের অন্য একটি প্রক্রিয়া।

ডেটা এক্সট্র্যাকশনের অধিকাংশ অনস্ট্রাকচারড ডেটা সোর্স এবং একাধিক ডেটা স্ট্রাকচার থেকে হয়। এই অনস্ট্রাকচারড ডেটা যেকোনো ফর্মে থাকতে পারে, যার মধ্যে টেবিল, ইন্ডেক্স, এবং অ্যানালিটিক্স।

এক ডেটা ওয়ারহাউসে ডেটা একাধিক সোর্স থেকে আসতে পারে, একটি ডেটা ওয়ারহাউস ইনকামিং রেকর্ড ব্যবহার করার জন্য তিনটি ভিন্ন টেকনিক দরকার করে। এই প্রসেসগুলোক Extraction, Transformation, and Loading (ETL) বলা হয়।

ডেটা এক্সট্র্যাকশন প্রসেসে মেসি ডেটা সোর্স থেকে ইনফরমেশন রিট্রিভাল অন্তর্ভুক্ত থাকে। ডেটা এক্সট্র্যাক্টগুলো রিলেশনাল ডেটাবেসের স্টেজিং অপারেশনে লোড করা হয়। অতএব এক্সট্র্যাকশন লজিক ব্যবহার করা হয় এবং সোর্স সিস্টেম সফ্টওয়্যার প্রোগ্রামিং ইন্টারফেস ব্যবহার করে ডেটা জন্য অনুরোধ করা হয়।

ডেটা এক্সট্র্যাকশন টুলের টাইপ

ডেটা এক্সট্র্যাকশন টুলের বিভিন্ন টাইপ রয়েছে যেগুলো নিচে দেওয়া হলো:

ব্যাচ প্রসেসিং টুলস (Batch processing tools) − লিগ্যাসি ডেটা এক্সট্র্যাকশন টুলস এই ডেটা ব্যাচে বিল্ড আপ করে, সাধারণত অফ-আওয়ারসে যাতে হাই কম্পিউটেশনাল পাওয়ার ব্যবহারের প্রভাব কমানো যায়। একটি বন্ধ, অন-প্রিমিস এনভায়রনমেন্টে মডারেটলি হোমোজিনাস ডেটা সোর্স সেটের জন্য, একটি ব্যাচ এক্সট্র্যাকশন সলিউশন সেরা আপপ্রোচ হতে পারে।

ওপেন সোর্স টুলস (Open source tools) − বাজেট-লিমিটেড সফ্টওয়্যারের জন্য ওপেন সোর্স টুলস সেরা ফিট হতে পারে, বিবেচনা করলে সাপোর্টিং ফ্রেমওয়ার্ক এবং নলেজ এরিয়ায় থাকলে। বিভিন্ন ভেন্ডর তাদের প্রোডাক্টের লিমিটেড বা "লাইট" ভার্সনও ওপেন-সোর্স হিসেবে প্রদান করে।

ক্লাউড-বেসড টুলস (Cloud-based tools) − ক্লাউড-বেসড টুলস এক্সট্র্যাকশন প্রোডাক্টের বর্তমান জেনারেশন। লক্ষ্য হলো ETL/ELT প্রসেসের একটি এলিমেন্ট হিসেবে ডেটার রিয়েল-টাইম এক্সট্র্যাকশন এবং ক্লাউড-বেসড টুলস এই স্পেসে এক্সেল করে, ডেটা স্টোরেজ এবং অ্যানালিসিসের জন্য ক্লাউডের সকল সুবিধা নেওয়া যায়। এই টুলস সিকিউরিটি এবং কম্প্লায়েন্সের সমস্যাও দূর করে কারণ আজকের ক্লাউড ভেন্ডর এই ফিল্ডগুলোতে ফোকাস করছে, ইন-হাউস এক্সপার্টিজ তৈরি করার প্রয়োজন দূর করে।