সবাই Big Data কে ৩ বা ৪ বা ১০ V- দিয়ে ডিফাইন করে। এই V-গুলি কি আসলে Big Data কনসেপ্টের ডিফিনিশন দিচ্ছে নাকি অন্য কিছুই বলতে চাচ্ছে? এই V-ভিত্তিক ক্যারেক্টারাইজেশন ব্যবহারের মূল কারণ হল Big Data-র সাথে প্যাকেজড চ্যালেঞ্জগুলো হাইলাইট করা। চ্যালেঞ্জ যেমন—ক্যাপচারিং, ক্লিনিং, ক্যুরেশন, ইন্টিগ্রেশন, স্টোরেজ, প্রসেসিং এবং আরও অনেক কিছু।
এই V-গুলি আপনাকে স επόচার চ্যালেঞ্জের জন্য প্রস্তুত করার নির্দেশনা দেয়। চ্যালেঞ্জগুলো যা আপনার পথে আসতে পারে যখন আপনি আপনার Big Data ম্যানেজ করা শুরু করবেন যেটি:
- বড় ভলিউমে বৃদ্ধি পায়
- বড় ভেলোসিটিতে বৃদ্ধি পায়
- বড় ভেরায়িটি জেনারেট করে
- বড় ভেরিয়েবিলিটির সাথে পরিবর্তন হয়
- বড় ভারাসিটি বজায় রাখতে প্রক্রিয়া প্রয়োজন
- ট্রান্সফর্ম করার সময় বড় ভিজ্যুয়ালাইজেশন দেয়
- বড় হিডেন ভ্যালু থাকে
এই V-গুলি Big Data-এর গুরুত্বপূর্ণ দিকগুলো এবং একটি Big Data কৌশল ব্যাখ্যা করে যা কোনো সংস্থা উপেক্ষা করতে পারে না। চলুন Big Data-এর বিভিন্ন অ্যাট্রিবিউটে অবদান রাখা সকল V-কে দেখে নেই:
১. Volume (ভলিউম):
প্রতিদিন ১০০ টেরাবাইট ডেটা Facebook-এ আপলোড হয়; Akamai প্রতিদিন ৭৫ মিলিয়ন ইভেন্ট বিশ্লেষণ করে অনলাইন বিজ্ঞাপন টার্গেট করার জন্য; Walmart প্রতি ঘন্টে ১ মিলিয়ন কাস্টমার ট্রানজেকশন হ্যান্ডল করে। সৃষ্ট সকল ডেটার ৯০% গত ২ বছরে জেনারেট হয়েছে।
উপরোক্ত আঙ্কੜেগুলো সত্যিকারের চিত্র আঁকে কী বোঝাতে চায় যখন আমরা বলি Big Volumes of data। এটি ডেটার প্রথম বৈশিষ্ট্য যা এটাকে Big Data করে তোলে। ডেটার এই বিশাল ভলিউম反过তে আমাদের সামনে এই ডেটা স্টোর করার চ্যালেঞ্জ আনে।
২. Velocity (ভেলোসিটি):
১৯৯৯ সালে, প্রতিদিন প্রতিমিনিটে, আমরা YouTube-এ ১০০ ঘন্টা ভিডিও আপলোড করি, ২০০ মিলিয়নের বেশি ইমেইল পাঠাই এবং ৩০০,০০০ টুইট পাঠাই।
ভলিউম নম্বরগুলোর নিচে একটি আরও বড় ট্রেন্ড লুকায়িত আছে, যা হলো ৯০% বিদ্যমান ডেটা গত ২ বছরে তৈরি হয়েছে। এটি ডেটা তৈরি, সংরক্ষণ, বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশনের গতি বা ভেলোসিটি চিত্রিত করে।
সংস্থাগুলোর চ্যালেঞ্জ হলো ডেটা তৈরি ও রিয়েল-টাইমে ব্যবহারের অত্যধিক গতির সাথে সামঞ্জস্য রক্ষা করা।
৩. Variety (ভেরায়িটি)
অতীতে, তৈরি হওয়া সকল ডেটা স্ট্রাকচারড ছিল, সেগুলো কলাম ও রোতে সুন্দরভাবে ফিট হত। কিন্তু সেদিনগুলো শেষ। আজ জেনারেট হওয়া ডেটার ৯০% আনস্ট্রাকচারড, যেগুলো সব আকার ও রূপে আসে—জিও-স্পেশিয়াল ডেটা থেকে, টুইট যা কন্টেন্ট ও সেন্টিমেন্টের জন্য বিশ্লেষণ করা যায়, ভিজ্যুয়াল ডেটা হিসেবে ফটো ও ভিডিও পর্যন্ত।
Variety Big Data-এর সবচেয়ে বড় চ্যালেঞ্জের একটি বর্ণনা করে। এটি আনস্ট্রাকচারড হতে পারে এবং এতে XML থেকে ভিডিও থেকে SMS পর্যন্ত অনেক ধরণের ডেটা থাকতে পারে। ডেটাকে অর্থবহভাবে অর্গানাইজ করা কোনো সহজ কাজ নয়, বিশেষ করে যখন ডেটা নিজে দ্রুত পরিবর্তিত হয়।
৪. Variability (ভেরিয়েবিলিটি)
Variability কে প্রায়শই Variety-এর সাথে গুলিয়ে দেওয়া হয়। এটিকে আলাদা করার একটি সহজ উদাহরণ: Starbucks ভাবুন—এতটেকএকে কোল্ড কফির ফ্লேভার আছে। এটি variety। মনে করুন আপনি প্রতিদিন Cafe Mocha কেনেন এবং প্রতিদিন সেটি গত দিনের চেয়ে কিছুটা আলাদা স্বাদ ও গন্ধ দেয়। এটি Variability।
Big Data-এর প্রেক্ষাপটে Variability কিছু ভিন্ন জিনিস বোঝায়। একটা হলো ডেটাতে অসঙ্গতির সংখ্যা। এইগুলো অ্যানোমালি এবং আউটলায়ার ডিটেকশন মেথড দ্বারা খুঁজে বের করতে হবে যাতে কোনো অর্থবহ এনালিটিক্স সম্ভব হয়। Big Data বহুবিধ ডেটা টাইপ ও সোর্সের কারণে একাধিক ডেটা ডাইমেনশনের কারনে variable। Variability বড় ডেটা আপনার ডেটাবেসে লোড হওয়ার অসামঞ্জস্যপূর্ণ গতিকে বোঝাতে পারেও পারে।
৫. Veracity (ভারাসিটি)
Big Data বুঝতে গুরুত্বপূর্ণ বিষয় হলো এর গুলগুলি, নויזি প্রকৃতি, এবং এক্যুরেট ডেটাসেট তৈরি করার জন্য যে পরিমাণ কাজ লাগে তারপর जाकर এনালিসিস শুরু করা যায়। যদি বিশ্লেষণ করা ডেটা inaccurate বা incomplete হয় তবে সেটি বেকার।
এই পরিস্থিতি তখন হয় যখন ডেটা স্ট্রিম বিভিন্ন সোর্স থেকে আসে বিভিন্ন ফরম্যাটে متفاوت সিগন্যাল-টু-নয়েজ রেশিও নিয়ে। এনাকার মাঝপথে এসে Big Data Analytics-এ পৌঁছানোর আগে এটি জমা ত্রুটির শিকার হতে পারে।
Veracity হলো ডেটা কতটুকু accurate সেটি নিশ্চিত করার বিষয়, যার জন্য বッド ডেটা আপনার সিস্টেমে জমা হওয়া থেকে রোধ করার প্রক্রিয়া দরকার। সবচেয়ে সহজ উদাহরণ হলো কন্টাক্টস যারা আপনার মার্কেটিং অটোমেশন সিস্টেমে ভুল নাম এবং ভুল কন্ট্যাক্ট ইনফো দিয়ে ঢুকেছে। আপনার ডেটাবেসে মিকি মাউস কতবার দেখেছেন? এটি класиস "garbage in, garbage out" চ্যালেঞ্জ।
৬. Visualization (ভিজ্যুয়ালাইজেশন)
এটি Big Data-এর কঠিন অংশ, এতে ব্যর্থ হলে এই বিশাল ডেটা বেকার হয়ে যায়। যেকোনো Big Data প্রসেসিং সিস্টেমের একটি কোর টাস্ক হলো এর বিশাল স্কেলকে এমন কিছুতে রূপান্তর করা যা সহজে বোঝা যায় এবং অ্যাকশনযোগ্য। মানুষের ভোগের জন্য, এর একটি সেরা মেথড হলো এটিকে গ্রাফিক্যাল ফরম্যাটে কনভার্ট করা।
কারেন্ট big data visualization টুলস টেকনিক্যাল চ্যালেঞ্জ ফেস করে in-memory টেকনোলজির লিমিটেশন এবং খারাপ স্কেলেবিলিটি, ফাংশনালিটি, এবং রেসপন্স টাইমের কারণে। ট্রেডিশনাল গ্রাফ এক বিলিয়ন ডেটা পয়েন্ট প্লট করার চাহিদা পূরণ করতে পারে না, তাই ডেটা রিপ্রেজেন্টেশনের ভিন্ন উপায় দরকার যেমন ডেটা ক্লাস্টারিং বা ট্রি ম্যাপস, সানবার্স্ট, প্যারালেল কোঅর্ডিনেট, সার্কুলার নেটওয়ার্ক ডায়াগ্রাম বা কোন ট্রি ব্যবহার করা।
৭. Value (ভ্যালু)
Value হলো চূড়ান্ত লক্ষ্য। Big Data-এর সম্ভাব্য ভ্যালু বিশাল। Volume, velocity, variety, variability, veracity এবং visualization এর যত্ন নেওয়ার পর—যে বেশ সময় ও পরিশ্রম নেয়—এটি নিশ্চিত করা গুরুত্বপূর্ণ যে আপনার সংস্থা ডেটা থেকে ভ্যালু পাচ্ছে।
শুধু ডেটা নিজে কোনো ভ্যালু রাখে না। ভ্যালু থাকে সেই ডেটার ওপর করা এনালিসিসে এবং কীভাবে ডেটাকে ইনফরমেশনে পরিণত করা হয় এবং সেইপরידעকে জ্ঞানে রূপান্তর করা হয়।
উপরোক্ত ৭টি V আপনাকে Big Data-এর ৩টি গুরুত্বপূর্ণ দিক বলে—ডেফিনিশন, ক্যারেক্টারিস্টিক্স এবং চ্যালেঞ্জ। কিন্তু যখন লোকেরা Big Data-র উপর রিসার্চ শুরু করলো উপরের ৭টি V চ্যালেঞ্জের সম্মুখীন হওয়ার মেথড আবিষ্কার করার জন্য, তারা আরও কিছু V-র সাথে সাক্ষাত করল। যদিও সেগুলো Big Data-তে 그만큼 গুরুত্বপূর্ণ ভূমিকা রাখে না, কিন্তু Characteristics এবং Challenges-এর তালিকাকে সম্পূর্ণ করে।
৮. Validity (ব্যালিডিটি)
Veracity-এর মতো, validity বলতে দেয় ডেটা তার উদ্দেশ্যের জন্য কতটুকু accurate এবং correct। Big Data veracity validity-এর বিষয়, অর্থাৎ ডেটা তার উদ্দেশ্য ব্যবহার করার জন্য correct এবং accurate। স্পষ্টভাবে valid data সঠিক সিদ্ধান্ত নেওয়ার চাবিকাঠি। ডেটা ভ্যালিডেশন হলো যেটি ডেটার uncorrupted ট্রান্সমিশন সার্টিফাই করে।
৯. Viability (ভায়াবিলিটি)
নিচের স্টেটমেন্টগুলো চিন্তা করুন:
- দিনের সময় বা সপ্তাহের দিন কেনাকাটার আচরণে কী প্রভাব ফেলে?
- Twitter বা Facebook মেনশনে surs না কেনাকাটা বাড়বে বা কমবে?
- জিও-লোকেশন, প্রোডাক্ট অ্যাক্সেসিবিলিটি, দিনের সময়, ক্রয় ইতিহাস, বয়স, পরিবারের আকার, ক্রেডিট লিমিট, এবং ভেহিকেল টাইপ—এই সব কীভাবে মিলে একটি কনসিউমারের ক্রয় প্রবণতা প্রিডিক্ট করে?
আমাদের প্রথম টাস্ক হলো সেই ডেটার viability অ্যাসেস করা কারণ, এতটুকু variety ডেটা এবং ভেরিয়েবল বিবেচনা করে একটি ইফেক্টিভ প্রিডিক্টিভ মডেল বানাতে, আমরা দ্রুত এবং কস্ট-ইফেক্টিভলি একটি নির্দিষ্ট ভেরিয়েবলের প্রাসঙ্গিকতা টেস্ট ও কনফার্ম করতে চাই সম্পূর্ণ ফিচারড মডেল তৈরি করার ইনভেস্টমেন্ট করার আগে। অন্য কথায়, আমরা হাইপোথেসিস ভ্যালিডেট করতে চাই further action নেওয়ার আগে, এবং একটি ভেরিয়েবলের viability নির্ধারণের প্রক্রিয়ায়, আমরা আমাদের ভিউ এক্সপ্যান্ড করতে পারি যাতে বুঝতে পারি অন্যান্য ভেরিয়েবল—যেগুলো আমাদের প্রাথমিক হাইপোথেসিসের অংশ ছিল না—আমাদের চাহিদা বা পর্যবেক্ষিত ফলাফলে অর্থবহ প্রভাব ফেলে কিনা।
১০. Volatility (ভোলাটিলিটি)
আপনার ডেটা কত পুরনো হতে হবে যাতে সেটি irrelevant, historic, বা আর উপযোগী নহে বলে মনে করা হয়? ডেটা কতক্ষণ রাখতে হবে?
Big Data-এর volatility কথা বললে আমরা সহজে স্ট্রাকচারড ডেটার রিটেনশন পলিসি মনে করতে পারি যা আমরা প্রতিদিন ব্যবসায়ে ইমপ্লিমেন্ট করি। একবার রিটেনশন পিরিয়ড এক্সপায়ার হলে, আমরা সহজে সেটি ডিস্ট্রয় করতে পারি।
Big Data-এর velocity এবং volume-এর কারণে, এর volatility সাবধানে বিবেচনা করতে হবে। এখন আপনাকে ডেটা করেন্সি এবং অ্যাক্সেসিবিলিটির জন্য নিয়ম বানাতে হবে এবং জরুরি সময়ে দ্রুত ইনফরমেশন রিট্রিভ নিশ্চিত করতে হবে।
১১. Vulnerability (ভালনারেবিলিটি)
২০১৫ সালের Ashley Madison Hack মনে আছে? অথবা মে ২০১৬ সালে CRN রিপোর্ট করেছিল "Peace নামে একটি হ্যাকার ডার্ক ওয়েবে ডেটা পোস্ট করেছে বিক্রির জন্য, যাতে এইইদতমূলকভাবে ১৬৭ মিলিয়ন LinkedIn অ্যাকাউন্ট এবং ৩৬০ মিলিয়ন ইমেইল ও পাসওয়ার্ড MySpace ইউজারদের তথ্য ছিল।
Big Data নতুন সিকিউরিটি চিন্তা আনে। বিশেষ করে এই characteristics-দের কারণে Big Data-এর জন্য একটি সিকিউরিটি প্রোগ্রাম ডেভেলপ করা একটি চ্যালেঞ্জ। সবার পর, একটি ডেটা ব্রিচ হলো একটি বড় ব্রিচ।
তো এই সব কী বোঝায় Big Data-এর প্রকৃতি সম্পর্কে? যাহা, এটা বিশাল এবং দ্রুত-বিস্তারিত, কিন্তু এটাও নויזি, গুলগুলি, liên tục পরিবর্তনশীল, সैकড়ো ফরম্যাটে, এবং এনালিসিস ও ভিজ্যুয়ালাইজেশন ছাড়া ভার্চুয়ালি বেকার।
Volume, velocity এবং variety শুধু Big Data-এর কী প্যারামিটার নয়, বরং সেগুলোই Big Data কনসেপ্টের জন্ম দিয়েছে এবং নরমাল ডেটা এবং Big Data-এর মধ্যে মূল পার্থক্য নির্দেশ করে। যদিও সেগুলো Big Data-এর অন্তর্নিহিত, অন্যান্য V-গুলি Variability, veracity, visualization এবং value গুরুত্বপূর্ণ অ্যাট্রিবিউট যা Big Data-এর বিশাল জটিলতাকে প্রতিফলিত করে তাদের জন্য যারা এটি প্রসেস, এনালাইজ এবং উপকৃত হতে চান।
সন্দেহবিহীন, Big Data একটি কী ট্রেন্ড যা কর্পোরেট আইটি অবশ্যই উপযুক্ত কম্পিউটিং ইনফ্রাস্ট্রাকচারের সাথে অ্যাকোমোডেট করতে হবে। কিন্তু হাই-পারফরম্যান্স এনালিটিক্স এবং ডেটা সায়েন্টিস্ট ছাড়া আপনি শুধু Big Costs তৈরি করার রিস্কে পড়বেন बिना সেটি বিজনেস সুবিধায় পরিণত করিয়ে।
