ডেটা লেক ব্যাখ্যা: আধুনিক ব্যবসার জন্য এটি কেন অপরিহার্য

সাম্প্রতিক বছরে, ডেটা লেক প্রযুক্তির বন্যা থেকে ডেটা বিজ্ঞানের প্রাইম বিচফ্রন্ট রিয়েল 이স্টেট-এ চলে এসেছে। এটি কেন হচ্ছে, এবং এগুলি কেন গুরুত্বপূর্ণ? সংক্ষিপ্ত উত্তর … সেখানে মূল্য রয়েছে।

ডেটার মূল্য রয়েছে

দিনে দিনে এটি স্পষ্ট হচ্ছে যে একটি কোম্পানির ডেটা বিশাল সম্ভাব্য মূল্য ধারণ করে। Google, Facebook, এবং অন্যদের মতো ইন্টারনেট দানবদের জন্য, তাদের মূল্য মূলত তাদের ডেটা থেকে এসেছে। কিন্তু আপনার ডেটা থেকে মূল্য পাওয়ার জন্য আপনাকে ইন্টারনেট দানব হতে হবে না। ডেটা শিল্পবস্তুর কোম্পানিগুলি মেশিন ব্যর্থতা পূর্বাভাস দেওয়ার জন্য, আর্থিক প্রতিষ্ঠানها ঝুঁকি ভালোভাবে পরিচালনার জন্য, অনলাইন রিটেলাররা কাস্টমার রিটেনশন বাড়ানোর জন্য, এবং অসংখ্য অন্যান্য প্রতিষ্ঠান নতুন অন্তর্দৃষ্টি আবিষ্কারের জন্য ব্যবহার করছে। এটি একটি খুব সহজ ফর্মুলার মনে হচ্ছে: বিজনেস অ্যানালিটিক্স টুল বা মেশিন লার্নিং (ML) সিস্টেমে ডেটা ফিড করুন এবং অন্তর্দৃষ্টি পান। বাস্তবে, এটি 그만큼 সহজ নয়। আমাদের বিশ্লেষণ সমস্যার সম্মুখীন হওয়ার আগে একটি অপরিহার্য পূর্বশর্ত পূরণ করতে হবে। আমাদের কাছে সত্যিকারের অন্তর্দৃষ্টি ধারণকারী ডেটা থাকতে হবে।

এটি কি শুধু আরেকটি ডেটা ওয়্যারহাউস সমাধান?

আপনি ভাবতে পারেন, “কি ডেটা ওয়্যারহাউস এই সমস্যাটি সমাধান করে?” আসলে না। ডেটা ওয়্যারহাউস একটি সংজ্ঞায়িত সেট বিজনেস সমস্যা সমাধান করার জন্য তৈরি হয়। ডেটা ওয়্যারহাউস ডেটা ইনজেশন এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড (ETL) ওয়ার্কফ্লো ব্যবহার করে। ডেটা সোর্স সিস্টেম থেকে এক্সট্র্যাক্ট করা হয়, ডেটা ওয়্যারহাউসের কাঠামোর মতো রূপান্তরিত করা হয়, এবং তারপর ডেটা ওয়্যারহাউসে লোড করা হয়। এই সময় পর্যন্ত, ডেটা ইতিমধ্যে সংগঠিত, ফিল্টার করা, এবং অন্যভাবে ম্যানিপুলেট করা হয়েছে সংজ্ঞায়িত বিজনেস সমস্যা সেটের জন্য অপ্রাসঙ্গিক ডেটা বাদ দেওয়ার জন্য। ETL প্রক্রিয়ায়, আমরা নिहিত বা স্পষ্টভাবে কিছু ডেটা মান রাখি এবং অন্যদের ফেলে দিই, ডেটা অগমেন্ট করি, ডেটা আইটেমগুলির মধ্যে সম্পর্ক গঠন করি, এবং অন্যদের উপেক্ষা করি। কি হবে যদি একটি নতুন বিজনেস সমস্যা আবিষ্কার হয় যা ফেলে দেওয়া তথ্যের প্রয়োজন হয়? বিজনেস পরিবেশ সবসময় পরিবর্তনশীল, এবং ভবিষ্যতের সমস্যাগুলি পূর্বাভাস দেওয়া যায় না। বর্তমান বিজনেস সমস্যা সেটের জন্য ETL প্রক্রিয়া কতটুকু সঠিক হোক না কেন, ভবিষ্যতের সম্ভাব্য মূল্যের একটি বিশাল পরিমাণ হারিয়ে যায় ডেটা ওয়্যারহাউস পপুলেট করার সময় এই সিদ্ধান্তগুলো নেওয়ায়।

ডেটা লেক প্রবেশ

যতটা সম্ভব সম্ভাব্য মূল্য রাখতে, আমরা মূল ডেটা ফেলে দিতে পারি না। কেন না আমরা সকল ডেটা তার কাঁচা ফরম্যাটে রাখি এবং পরে কীভাবে ব্যবহার করব সেটি որոշি? আমরা কেবল ডেটাকে নদীর মতো একটি কেন্দ্রীয় সংগ্রহস্থলে প্রবাহিত হতে দিতে পারি, একটি “লেক” آف “ডেটা” গঠন করে। :) অন্য কথায়, ডেটা এক্সট্র্যাক্ট এবং স্টোর করুন, তারপর প্রয়োজন অনুযায়ী ট্রান্সফর্ম এবং লোড করুন (প্রায়শই Extract, Load, and Transform, ELT - ETL-এ 'T' এবং 'L' এর স্থান বদলানো বলে করা হয়)।

ঐতিহাসিকভাবে, স্টোরেজ খরচ এবং ভবিষ্যতে কোনো অর্থপূর্ণ কাঠামো বের করার খরচ ধারণ করা তথ্যের সম্ভাব্য মূল্যের চেয়ে অনেক বেশি ছিল। যাইহোক, স্টোরেজ খরচ এবং хаוס থেকে উপযোগী কাঠামো বের করার খরচ কমেছে, যাতে 점점 অধিক কোম্পানির জন্য এটি অর্থনৈতিক হয়ে উঠেছে।

কাঁচা ডেটার যেকোনো সংগ্রহ কি একটি ডেটা লেক, ঠিক?

ওকে, খুব সহজ। শুধু সকল কাঁচা ডেটা একটি একক লোকেশনে ফেলে দিন, এবং আমরা শেষ, ঠিক? কোথাও থেকে! ডেটা ইনজেশন সঠিকভাবে করা উচিত কাস্টমার, কোম্পানি, এবং ডেটা রক্ষা করার জন্য এবং ভবিষ্যতের ডেটা সায়েন্টিস্ট এবং অ্যানালিস্টদের জন্য এটি উপলব্ধ রাখতে। এটি করার জন্য, আমাদের অনেক গুরুত্বপূর্ণ ফ্যাক্টর বিবেচনা করতে হবে।

• ভবিষ্যতের ডেটা সায়েন্টিস্ট এবং অ্যানালিস্টরা কীভাবে তাদের খুঁজ रहे বিষয়টি খুঁজে পাবে? কাঁচা ডেটা ইনডেক্স করা আবশ্যক।

• ডেটা কীভাবে দক্ষতার সাথে এক্সট্র্যাক্ট করা যাবে? ডেটা একটি দক্ষ ফাইল ফরম্যাটে সংরক্ষণ করা আবশ্যক, যেমন কলামার ফরম্যাট।

• পারসনালি আইডেন্টিফায়েবল ইনফরমেশন (PII), প্রোটেক্টেড হেলথ ইনফরমেশন (PHI), কার্ডহোল্ডার ডেটা (CD), এবং অন্যান্য সংবেদনশীল ডেটা সম্পর্কে কী? ডেটা অবফাসকেশন প্রয়োজন।

• ডেটা গোপনীয়তা (যেমন GDPR), ডেটা সার্বভৌমত্ব, এবং অ্যাক্সেস কন্ট্রোল কীভাবে হ্যান্ডল করবেন যাতে আপনি অন্য একটি ডেটা ব্রিচের জন্য হেডলাইনে না থাকেন? আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট অবশ্যই বাস্তবায়ন করতে হবে উপযুক্ত পারমিশন এবং অ্যাক্সেস কন্ট্রোল প্রয়োগ করতে।

ডিডুপ্লিকেশন বা মিলে যাওয়া রেকর্ড সম্পর্কে কী যেগুলি কিছু আইডেন্টিফাইং কী শেয়ার করে না? কি 123 Main St, Some Town, USA একই লোকেশন 123 Main Street, Some Town, USA? Robert Smith এবং Bob Smith সম্পর্কে কী? আপনি কল্পনা করতে পারেন, এগুলো সহজ পরিস্থিতি। বাস্তব ডেটা সেটে আরও জটিল পরিস্থিতি রয়েছে।

একবার ডেটা ডেটা লেকে চলে যাওয়ার পর এবং 거기에 উপযুক্ত ইনডেক্সিং এবং কন্ট্রোল থাকে, তবে এটি ব্যবহার করার আগে একটি স্ট্রাকচারড ফরম্যাটে রূপান্তরিত করতে হবে। সাধারণত, এর মানে হল এটি পড়ার সময় জাস্ট-ইন-টাইম স্কিমা প্রয়োগ করা। বিভিন্ন কাঁচা সোর্স ফরম্যাটকে একটি পরিচিত কাঠামোর দিকে প্রজেক্ট করা হয় যাতে সেগুলি ML, ওয়্যারহাউসিং, বা বিজনেস ইন্টেলিজেন্স (BI) সিস্টেম দ্বারা গ্রহণ করা যায়। (আমি এই প্রক্রিয়াকে EtS-TL, Extract transform Store – Transform and Load বলতে পছন্দ করি, কারণ কিছু লসলেস ডেটা ট্রান্সফরমেশন ডেটা লেকে প্রবেশ করার সময় সম্পাদিত হয়। কিন্তু নামকরণের আলোচনা অন্য সময়ের জন্য একটি টপিক।)

ডেটা ব্যবহার

ডেটা এখন লেকে আছে কিন্তু এর বর্তমান ফর্মে ব্যবহার করা যাবে না। যে ডেটা ট্রান্সফরমেশন সিদ্ধান্তগুলি বিলম্বিত করা হয়েছিল সেগুলি এখন অবশ্যই নিতে হবে। একবার একটি স্কিমা নির্ধারিত হয়ে গেলে এবং ডেটা এক্সট্র্যাক্ট হয়ে গেলে, তবে সেটিকে স্কিমা-নির্দিষ্টভাবে পরিষ্কার করতে হবে। একটি স্কিমা/বিশ্লেষণের জন্য অবৈধ ডেটা অন্য একটি স্কিমার জন্য کاملاً বৈধ হতে পারে। উদাহরণস্বরূপ, একটি জমি মালিকানা ডেটাসেট বিবেচনা করুন যাতে মালিকের নাম, সম্পত্তির ঠিকানা, সম্পত্তির মূল্য, পেমেন্ট ডেলিনকোয়েন্সি, জমি ব্যবহার (যেমন, আবাসিক, অফিস বিল্ডিং, বা শিল্প), এবং সম্পত্তি কর অ্যাকাউন্ট নম্বর থাকে। জমি ব্যবহার এবং পেমেন্ট ডেলিনকোয়েন্সির মধ্যে tươngক রয়েছে কিনা তা নির্ধারণের জন্য মালিকের নামের প্রয়োজন নেই। একই সাথে, সম্পত্তির মূল্য এবং জমি ব্যবহার এর মধ্যে tươngক খোঁজার জন্য ডেলিনকোয়েন্সি ডেটার প্রয়োজন নেই। যদি একটি ডেটা আইটেম একটি ডেটা স্লাইসের একটি সারিতে অনুপস্থিত থাকে, তবে এটি অন্য ডেটা স্লাইসের জন্য একই সারি अमान्य করে না। ডেটা লেক আপনাকে আপনার ডেটা অ্যানালিটিক্স বিকল্পগুলি খোলা রাখতে দেয়, তবে এেগুলির নিজস্ব জটিলতা এবং খরচ রয়েছে।

এই সব পদক্ষেপ সম্পন্ন হলে, আমরা এমন একটি পয়েন্টে আছি যেখানে আমাদের ডেটা অ্যানালিটিক্স টুল, BI সিস্টেম, বা ML মডেল তাদের কাজ শুরু করতে পারে। যাইহোক, একটি ডেটা লেক সুবিধা নেওয়া দ্বারা, আমরা অনিচ্ছাকৃতভাবে ডেটায় পাওয়া সম্ভাব্য ভবিষ্যৎ মূল্য ধ্বংস করিনি। ভবিষ্যৎ বিজনেস প্রশ্নগুলি অন্বেষণ করা যাবে ছাড়াই আমাদের ভবিষ্যৎ জানতে হবে।

সারসংক্ষেপ

যখন ডেটা ওয়্যারহাউস ফিল্টার করা, প্রস্তুত, এবং ব্যবহার করার জন্য প্রস্তুত, ডেটা লেক হল সংরক্ষণাগার, তাদের কাঁচা রূপে ভোগ করার জন্য নয়। বরং, সেগুলিতে থাকা ডেটা ভোগ করার আগে প্রস্তুত করা আবশ্যক। যেকোনো সংরক্ষণাগারের মতো, সেগুলিকে ভবিষ্যতের ভোগের জন্য উপলব্ধ রাখতে সঠিকভাবে পরিচালনা করতে হবে। এটি ইনফ্লো ম্যানেজমেন্ট (স্টোরেজ ফাইল ফরম্যাট এবং ডেটা অবফাসকেশন), কন্টেন্ট বোঝা (ইনডেক্সিং এবং ডিডুপ্লিকেশন), দুরুপযোগ থেকে সুরক্ষা (আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট), এবং শুদ্ধিকরণ সুবিধা (ডেটা এক্সট্র্যাকশন, স্কিমা প্রয়োগ, এবং ডেটা পরিষ্কার) মাধ্যমে করা হয়।

আইসবার্গের শুধু শীর্ষ

সৌভাগ্য से, ক্লাউড যুগে, আমাদের ডেটা লেক বাস্তবায়ন করার জন্য własস্ব টুল এবং প্রযুক্তি তৈরি করার প্রয়োজন নেই। উদাহরণস্বরূপ, AWS Lake Formation সরাসরি ডেটা লেকের সাথে সম্পর্কিত টুল এবং প্রযুক্তি সমস্যা সমাধান করে। যাইহোক, অনেক কঠিন প্রশ্ন বাকি আছে। আপনি কি জানেন কীভাবে এই টুলগুলি সঠিকভাবে ব্যবহার করতে হয়? আপনার ডেটা ইনজেশন অনুমতি দিতে مناسب নেটওয়ার্ক কানেক্টিভিটি সেট আপ করার দক্ষতা আছে কি? একটি VPN পর্যাপ্ত, নাকি আপনাকে একটি ডেডিকেটেড সার্কিট (Direct Connect) দরকার? আপনি কোম্পানির ডেটার একটি সোনার খান ক্লাউডে রাখছেন। আপনি কি নিশ্চিত যে আপনি এটি সঠিকভাবে সুরক্ষিত করেছেন অননুমোদিত অ্যাক্সেস রোধ করতে? আপনি কি কোস্ট-এফিশিয়েন্টভাবে ডেটা অ্যাক্সেস করছেন? মনে রাখবেন, ট্রান্সফার আউট ফ্রি নয়।

Rackspace-এ, আমাদের কাছে ক্লাউড আর্কিটেক্ট এবং দক্ষতা আছে আপনার ডেটা লেক দ্রুত, সুরক্ষিত, এবং দক্ষতার সাথে চালু করতে সাহায্য করতে। আমাদেরকে কল করুন বা আরও তথ্যের জন্য Rackspace Managed AWS-এ ভিজিট করুন।

ফিডব্যাক ট্যাব ব্যবহার করে যেকোনো মন্তব্য করুন বা প্রশ্ন জিজ্ঞাসা করুন।