আমরা যখন শেষ ಬড় ডেটা নিয়ে কথা বলেছিলাম, তখন আমরা বিভিন্ন বড় ডেটা অ্যানালিটিক্স টেকনিক নিয়ে আলোচনা করেছিলাম। তার আগে আমরা বড় ডেটার বিভিন্ন দিক নিয়ে কথা বলেছিলাম। আমার একটি ব্লগে আমি "বড় ডেটা রেফারেন্স আর্কিটেকচার লেয়ারদের ফাংশন্যালিটি" বর্ণনা করেছিলাম। পূর্বের মত সংলগ্নভাবে, এই ব্লগে আমরা "টপ ১০ ওপেন সোর্স ডেটা এক্সট্র্যাকশন টুলস" নিয়ে আলোচনা করব।
বড় ডেটার ডেটা এক্সট্র্যাকশন টুলস সব আলাদা সোর্স থেকে ডেটা সংগ্রহ করে এবং সেটাকে স্ট্রাকচার্ড ফর্মে রূপান্তর করে। এই টুলসের জন্য আরও সাধারণভাবে ব্যবহৃত টার্ম হল "ইটিএল — এক্সট্র্যাক্ট ট্রান্সফরম অ্যান্ড লোড"। এই টুলসের ফাংশনালিটিগুলো নিচের ৩ ফেজে ভাগ করা যায়:
- হোমোজেনাস বা হেটারোজেনাস ডেটা সোর্স থেকে ডেটা এক্সট্র্যাক্ট করা
- কোয়েরি এবং অ্যানালিসিসের উদ্দেশ্যে ডেটা সঠিক ফরম্যাট বা স্ট্রাকচারে স্টোর করার জন্য ট্রান্সফরম করা
- ফাইনাল টার্গেটে (ডেটাবেস, আরও সঠিকভাবে বললে, অপারেশনাল ডেটা স্টোর, ডেটা মার্ট, বা ডেটা ওয়্যারহাউস) লোড করা
সাধারণত ইটিএল টুলসে, তিনটি ফেজই প্যারালেলে এক্সিকিউট হয় কারণ ডেটা এক্সট্র্যাকশনে সময় লাগে, তাই ডেটা পুল হয়ার সময়েই অন্য একটি ট্রান্সফরমেশন প্রসেস এক্সিকিউট হয়ে পাওয়া ডেটা প্রসেস করে এবং লোডিং-এর জন্য প্রস্তুত করে এবং যতক্ষণ কিছু ডেটা টার্গেটে লোড করার জন্য প্রস্তুত হয়, ততক্ষণ লোডিং শুরু হয় পिछले ফেজগুলোর সমাপ্তি জন্য অপেক্ষা ছাড়া।
এখানে, আমি টপ ১০ ওপেন সোর্স ডেটা এক্সট্র্যাকশন বা ইটিএল টুলগুলো তালিকাভুক্ত করছি:
১. ট্যালেন্ড ওপেন স্টুডিও (Talend Open Studio)
ট্যালেন্ড ওপেনস্টুডিও মার্কেটে সবচেয়ে শক্তিশালী ডেটা ইন্টিগ্রেশন ইটিএল টুলের একটি। ট্যালেন্ড ওপেন স্টুডিও ডেটা ম্যানেজমেন্ট এবং অ্যাপ্লিকেশন ইন্টিগ্রেশন প্রজেক্ট ডেভেলপ, টেস্ট, ডিপ্লয় এবং অ্যাডমিনিস্টার করার জন্য ওপেন সোর্স প্রোডাক্টের একটি ভേrsatাইল সেট।
ইটিএল প্রজেক্টের জন্য, ট্যালেন্ড ওপেন স্টুডিও ফর ডেটা ইন্টিগ্রেশন ডেটা ইন্টিগ্রেশনের জন্য একাধিক সমাধান প্রদান করে — ওপেন সোর্স এবং কমার্শিয়াল এডিশন দুটোই। ট্যালেন্ড একটি সমৃদ্ধ ফিচার সেট অফার করে যার মধ্যে রয়েছে একটি গ্রাফিক্যাল ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট ইন্টুইটিভ ইক্লিপ্স-ভিত্তিক ইন্টারফেসসহ। ড্র্যাগ-অ্যান্ড-ড্রপ ডিজাইন ফ্লো, এবং ৪০০-এরও বেশি প্রি-কনফিগার্ড অ্যাপ্লিকেশন কানেক্টর সহ ব্যাপক কানেক্টিভিটি যা ডেটাবেস, মেইনফ্রেম, ফাইল সিস্টেম, ওয়েব সার্ভিস, প্যাকেজড এন্টারপ্রাইজ অ্যাপ্লিকেশন, ডেটা ওয়্যারহাউস, ওল্যাপ অ্যাপ্লিকেশন, সফটওয়্যার-অ্যাজ-অ-সার্ভিস, ক্লাউড-ভিত্তিক অ্যাপ্লিকেশন এবং আরও অনেক কিছুর মধ্যবর্তী ব্রিজ করে।
২. স্ক্রিপ্টেলা (Scriptella)
স্ক্রিপ্টেলা অ্যাপাচি দ্বারা চালু করা একটি ওপেন সোর্স ইটিএল টুল, যা এক্সট্র্যাক্টিং, ট্রান্সফরমিং এবং লোডিং প্রসেসের ফাংশনিংর পাশাপাশি জাভা স্ক্রিপ্টিং এক্সিকিউট করার জন্যও ব্যবহার করা হয়। এটি ব্যবহার করার জন্য খুব সিম্পল এবং সহজ টুল এবং মূলত এর ইজ অফ ইউজজন্যই জনপ্রিয়। ফিচারগুলো شامل — SQL, জাভাস্ক্রিপ্ট, JEXL, ভেলোসিটি-এ লেখা স্ক্রিপ্ট এক্সিকিউট করা। ডেটাবেস মাইগ্রেশন, LDAP, JDBC, XML এবং অন্যান্য ডেটা সোর্সের সাথে ইন্টারঅপারেবিলিটি। ক্রস ডেটাবেস ইটিএল অপারেশন, CSV, টেক্সট এবং XML এবং অন্যান্য ফরম্যাট থেকে ইম্পোর্ট/এক্সপোর্ট।
৩. KETL
KETL ডেটা ওয়্যারহাউসিং-এর জন্য সেরা ওপেন সোর্স টুলগুলোর একটি। এটি জাভা-ওরিয়েন্টেড স্ট্রাকচার XML এবং অন্যান্য ভাষা দিয়ে তৈরি। ইঞ্জিনটি একটি ওপেন, মাল্টি-থ্রেডেড, XML-ভিত্তিক আর্কিটেকচারের ওপর নির্মিত। KETL-এর প্রধান ফিচারগুলো شامل — সিকিউরিটি এবং ডেটা ম্যানেজমেন্ট টুলস ইন্টিগ্রেশনের জন্য সাপোর্ট, একাধিক সার্ভার এবং CPU-তে প্রুভেন স্কেলেবিলিটি এবং যেকোনো ভলিউমের ডেটা, এবং থার্ড-পার্টি শিডিউল, ডিপেন্ডেন্সি এবং নোটিফিকেশন টুলসের কোনো অতিরিক্ত প্রয়োজন নেই।
৪. পেন্টাহো ডেটা ইন্টিগ্রেটর — কেটল (Pentaho Data Integrator – Kettle)
পেন্টাহো নিজে যেনে দিয়েছে, এটি একটি BI প্রোভাইডার যা ডেটা ইন্টিগ্রেশনের ক্যাপাবিলিটি হিসেবে ইটিএল টুলস অফার করে। এই ইটিএল ক্যাপাবিলিটিগুলো কেটল প্রজেক্টের ওপর ভিত্তি করে। এটি একটি জাভা অ্যাপ্লিকেশন এবং লাইব্রেরি। কেটল XML ফরম্যাটে লেখা প্রসিডিউরগুলো ইন্টারপ্রেট করে। কেটল ডেটা ম্যানিপুলেশন প্রসেস ফাইন-টিউন করার জন্য একটি জাভা স্ক্রিপ্ট ইঞ্জিন প্রদান করে। কেটল একটি ভালো টুল, এমনকি জটিল ইটিএল প্রসিডিউর তৈরির জন্য সব কিছুই আছে। কেটল XML ফরম্যাটে লেখা ইটিএল প্রসিডিউরগুলো ইন্টারপ্রেট করে।
কেটল (PDI) পেন্টাহো বিজনেস ইন্টেলিজেন্স স্যুটে ডিফল্ট টুল। প্রসিডিউরগুলো পেন্টাহো প্ল্যাটফর্মের বাইরেও এক্সিকিউট করা যায়, শর্তে সকল কেটল লাইব্রেরি এবং জাভা ইন্টারপ্রেটার ইনস্টলড থাকে।
৫. জাসপারসফট ইটিএল (Jaspersoft ETL)
জাসপারসফট ইটিএল ডিপ্লয় করা সহজ এবং অনেক প্রоприয়েটারি এবং ওপেন সোর্স ইটিএল সিস্টেমের চেয়ে আউট-পারফর্ম করে। এটি আপনার ট্রানজ্যাকশনাল সিস্টেম থেকে ডেটা এক্সট্র্যাক্ট করে একটি কনসোলিডেটেড ডেটা ওয়্যারহাউস বা ডেটা মার্ট তৈরি করতে ব্যবহৃত হয় রিপোর্টিং এবং অ্যানালিসিসের জন্য। ফিচারগুলো شامل — বিজনেস মডেলার ইনফরমেশন ওয়ার্কফ্লোর নন-টেকনিক্যাল ভিউ এক্সেস করতে, জব ডিজাইনারের সাথে ইটিএল প্রসেস ডিসপ্লে এবং এডিট করতে, একটি গ্রাফিক্যাল এডিটিং টুল, ট্রান্সফরমেশন ম্যাপার এবং অন্যান্য ট্রান্সফরমেশন কম্পোনেন্টের সাথে জটিল ম্যাপিং এবং ট্রান্সফরমেশন ডিফাইন করতে।
এটিও রিয়েল-টাইম ডিবাগিংসহ শুরু থেকে শেষ পর্যন্ত ইটিএল স্ট্যাটিস্টিক্স ট্র্যাক করার ক্ষমতা রাখে, একাধিক সোর্স থেকে সিমালটেনাস আউটপুট এবং ইনপুট এর অনুমতি দেয় যার মধ্যে ফ্ল্যাট ফাইল, XML ফাইল, ডেটাবেস, ওয়েব সার্ভিস, POP এবং FTP সার্ভার 수백 উপলব্ধ কানেক্টরের সাথে এবং এক্টিভিটি মনিটরিং কনসোল ব্যবহার করে জব ইভেন্ট, এক্সিকিউশন টাইম এবং ডেটা ভলিউম মনিটর করতে।
৬. জিওকেটল (GeoKettle)
জিওকেটল জেনেরিক ইটিএল টুল কেটল (পেন্টাহো ডেটা ইন্টিগ্রেশন) এর একটি স্পেশিয়ালি-এনাবল্ড ভার্সন। জিওকেটল একটি পাওয়ারফুল মেটাডেটা-ড্রিভেন স্পেশিয়াল ইটিএল টুল যা ভিন্ন স্পেশিয়াল ডেটা সোর্সের ইন্টিগ্রেশনের জন্য ডেডিকেটেড জিওস্পেশিয়াল ডেটা ওয়্যারহাউস তৈরিতে এবং আপডেট করতে।
এটি ডেটা সোর্স থেকে ডেটা এক্সট্র্যাকশন, ডেটা স্ট্রাকচার চেঞ্জ করা, ডিফাইনড Стан্ডার্ডসের সাথে কমপ্লায়েন্ট করা, এবং ট্রান্সফর্মড ডেটা টার্গেট ডেটাবেস ম্যানেজমেন্ট সিস্টেম (DBMS)-এ OLTP বা OLAP/SOLAP মোড, GIS ফাইল বা জিওস্পেশিয়াল ওয়েব সার্ভিসে লোড করার ক্ষমতা দেয়।
৭. ক্লোভার ইটিএল (Clover ETL)
এই প্রজেক্টটি ওপেনসিস (OpenSys) দ্বারা পরিচালিত, চেক রিপাব্লিক-ভিত্তিক একটি কোম্পানি। এটি জাভা-ভিত্তিক, ডুয়াল-লাইসেন্সড ওপেন সোর্স যা এর কমার্শিয়ালি লাইসেন্সড ভার্সনে ওয়্যারেন্টি এবং সাপোর্ট অফার করে। এর অফার তে একটি ছোট ফুটপ্রিন্ট আছে যা সিস্টেম ইন্টিগ্রেটর এবং ISV-দের জন্য এম্বেড করা সহজ করে তোলে। এটি ফাংশন, ম্যাপিং এবং ট্রান্সফরমেশন সহ একটি বেসিক লাইব্রেরি তৈরির লক্ষ্য রাখে। এর এন্টারপ্রাইজ সার্ভার এডিশন একটি কমার্শিয়াল অফারিং।
৮. HPCC সিস্টেমস (HPCC Systems)
HPCC সিস্টেমস বড় ডেটা অ্যানালिसিসের জন্য একটি ওপেন-सোর্স প্ল্যাটফর্ম একটি ডেটা রিফাইনারি ইঞ্জিন chiamা থর (Thor) সহ। থর বড় ডেটা ক্লিন, লিংক, ট্রান্সফরম এবং অ্যানালাইজ করে। থর ইটিএল (এক্সট্র্যাকশন, ট্রান্সফরমেশন এবং লোডিং) ফাংশনস সাপোর্ট করে যেমন — আনস্ট্রাকচার্ড/স্ট্রাকচার্ড ডেটা ইনজেস্ট করা, ডেটা প্রোফাইলিং, ডেটা হাইজিন, এবং ডেটা লিংকিং আউট-অফ-দ-বক্স। থর প্রসেসড ডেটা রক্সি (Roxie) দিয়ে অ্যাক্সেস করা যায়, যা একটি ডেটা ডেলিভারি ইঞ্জিন — একটি বড় সংখ্যক ইউজার কনকারেন্টলি রিয়েল-টাইম ফ্যাশনে অ্যাক্সেস করতে পারে। রক্সি হাইলি কনকারেন্ট এবং লো-লেটেন্সি রিয়েল-টাইম কোয়েরি ক্যাপাবিলিটি প্রদান করে।
৯. জেডক্স (Jedox)
জেডক্স একটি ওপেন সোর্স BI সলিউশন টুল। এই নির্দিষ্ট টুলটি পারফরম্যান্স হোল্ডিং স্ট্র্যাটেজি প্ল্যান, ইনভেস্টিগেশন, কভারেজ এবং ইটিএল কনসেপ্টে জড়িত প্রসেসগুলো ম্যানেজ করার জন্য। ওপেন কোর একটি ইন-মেমরি OLAP সার্ভার, ইটিএল সার্ভার এবং OLAP ক্লায়েন্ট লাইব্রেরি নিয়ে গঠিত। জেডক্স OLAP সার্ভারকে সোর্স এবং টার্গেট সিস্টেম হিসেবে পাওয়ারফুলি সাপোর্ট করে, টুলটি OLAP ইনভেস্টিগেশনের জটিলতাগুলো ওয়ারওয়ার করার ক্যাপাবিলিটির সাথে সজ্জিত। যেকোনো কনভেনশনাল মডেল এই নির্দিষ্ট ইটিএল টুলের ব্যবহারে একটি OLAP মডেলে রূপান্তরিত করা যায়।
কিউবস এবং ডাইমেনশনসের সাথে কাজ করা আরো সহজ। ফ্লেক্সিবলি জেনারেট করুন আপনার প্রয়োজনীয় টাইম হায়ারার্কি এবং সোর্স সিস্টেমের রিলেশনাল মডেলকে একটি OLAP মডেলে দক্ষতার সাথে রূপান্তর করুন — JEDOX ETL দিয়ে।
১০. আপাটার ইটিএল (Apatar ETL)
আপাটার ইটিএল একটি ওপেন সোর্স প্যাকেজে অদ্বিতীয় ক্যাপাবিলিটির সেট আনে। ফিচারগুলো شامل — অরাকল, MS SQL, MySQL, সাইবেস DB2, MS Access, পোস্টগ্রেএসকিউএল, XML, ইনস্ট্যান্টDB, প্যারাডক্স, বোরল্যান্ড JDataStore, CSV, MS Excel, Qed, HSQL, SalesForce.Com ইত্যাদির সাথে কানেক্টিভিটি। সকল ইন্টিগ্রেশন প্রজেক্ট ম্যানেজ করার জন্য একটি সিঙ্গল ইন্টারফেস, ফ্লেক্সিবল ডিপ্লয়মেন্ট অপশন, বাই-ডিরেকশনাল ইন্টিগ্রেশন, প্ল্যাটফর্ম-ইনডিপেন্ডেন্ট, উইন্ডোজ, লিনাক্স, ম্যাক-এ চলে; ১০০% জাভা-ভিত্তিক, কোনো কোডিং নেই, ভিজুয়াল জব ডিজাইনার এবং ম্যাপিং নন-ডেভেলপারদের ডিজাইন করতে এবং ট্রান্সফরমেশন পারফর্ম করতে সক্ষম করে।
ওপেন সোর্স টুলসের সবসময় কিছু লিমিটেশন থাকে — উন্নত ফিচার, স্টোরেজ ফ্যাসিলিটি, উন্নত অ্যানালিটিক ফিচার এবং আরও অনেক কিছুর ক্ষেত্রে। তাই লাইসেন্সড টুলস ব্যবহার করা উচিত। আমার পরবর্তী ব্লগ লাইসেন্সড ডেটা এক্সট্র্যাকশন টুলস নিয়ে আলোচনা করবে।
