'বিগ ডেটা' হলো স্পেশালাইজড টেকনিক ও টেকনোলজির প্রয়োগ খুব বড় ডেটা সেট প্রসেস করার জন্য। এই ডেটা সেটগুলো ofteন ওতত বড় এবং জটিল হয়ে যায় যে হ্যান্ড-ওন ডেটাবেস ম্যানেজমেন্ট টুল দিয়ে প্রসেস করা কঠিন হয়ে যায়।
ইনফরমেশন টেকনোলজির radikাল বৃদ্ধি ইন্ডাস্ট্রিতে বেশ কিছু কমপ্লিমেন্টারি কন্ডিশন তৈরি করেছে। সবচেয়ে 지속적이고 আরগুয়াবলি সবচেয়ে প্রেজেন্ট আউটকাম হলো বিগ ডেটার উপস্থিতি। 'বিগ ডেটা' টার্ম একটি ক্যাচ-ফ্রেজ যা বিশাল পরিমাণ ডেটার উপস্থিতি বর্ণনা করার জন্য গড়ে ওঠেছে। এত বিশাল পরিমাণ ডেটা থাকার ফলাফল হলো ডেটা অ্যানালিটিক্স।
ডেটা অ্যানালিটিক্স হলো বিগ ডেটা স্ট্রাকচার করার প্রসেস। বিগ ডেটার মধ্যে বিভিন্ন প্যাটার্ন এবং کورিলেশন রয়েছে যা ডেটা অ্যানালিটিক্সকে ডেটার আরও ভালো ক্যালকুলেটেড ক্যারেক্টারাইজেশন করতে সক্ষম করে। এটাই ইনফরমেশন টেকনোলজির সবচেয়ে গুরুত্বপূর্ণ অংশগুলোর একটু করে ডেটা অ্যানালিটিক্স।
তাই, এখানে আমি ২৬টি বিগ ডেটা অ্যানালিটিক্স টেকনিক তালিকা করছি। এই তালিকা কোনো মানে এক্সহাস্টিভ নয়।
-
A/B টেস্টিং
A/B টেস্টিং একটি অसेসমেন্ট টুল যা একটি ওয়েবপেজ বা অ্যাপের কোন ভার্সন একটি অর্গানাইজেশন বা ব্যক্তিকে বিজনেস গোল আরও কার্যকরভাবে মিট করতে সাহায্য করে সেটা সনাক্ত করতে। এই সিদ্ধান্ত নেওয়া হয় দুটি ভার্সনের পারফরম্যান্স তুলনা করে। A/B টেস্টিং ওয়েব ডেভেলপমেন্টে সাধারণত ব্যবহৃত হয় যাতে ওয়েবপেজ বা পেজ কম্পোনেন্টের পরিবর্তন ডেটা-ড্রাইভেন হয়, পারসোনাল মতামতের বেসিসে নয়।
এটাকে স্প্লিট টেস্টিং বা বাকেট টেস্টিংও বলা হয়।
-
অ্যাসোসিয়েশন রুল লার্নিং
বড় ডেটাবেসে ভেরিয়েবলগুলোর মাঝপথে আকর্ষণীয় সম্পর্ক, অর্থাৎ "অ্যাসোসিয়েশন রুল" আবিষ্কারের জন্য টেকনিকের একটি সেট। এই টেকনিকগুলো রুল জেনারেট ও টেস্ট করার জন্য متنوعة অ্যালগরিদম নিয়ে আসে।
একটি অ্যাপ্লিকেশন হলো মার্কেট ব্যাস্কেট অ্যানালিসিস, যেখানে একজন রিটেলার নির্ধারণ করতে পারে কোন প্রোডাক্টগুলো একসাথে আরও বেশি কেনা হয় এবং এই ইনফরমেশন мар্কেটিং-এ ব্যবহার করতে পারে। (একটি সাধারণ উদাহরণ হলো অনেক সুপারмар্কেট শপার যারা ন্যাচোস কিনে তারা বিয়ারও কিনে এই আবিষ্কার।)
-
ক্লাসিফিকেশন ট্রি অ্যানালিসিস
স্ট্যাটিস্টিক্যাল ক্লাসিফিকেশন হলো একটি নতুন অবজারভেশন কোন ক্যাটাগরিতে পড়ে সেটা সনাক্ত করার মেথড। এর জন্য একটি ট্রেনিং সেট দরকার সঠিকভাবে আইডেন্টিফাইড অবজারভেশন—অন্য কথায় ইতিহাসগত ডেটা।
স্ট্যাটিস্টিক্যাল ক্লাসিফিকেশন ব্যবহৃত হচ্ছে:
- ডকুমেন্টগুলো স্বয়ংক্রিয়ভাবে ক্যাটাগরাইজ করতে
- জীবের গোষ্ঠীভাগে শ্রেণিবদ্ধ করতে
- অনলাইন কোর্স নেওয়া ছাত্রদের প্রোফাইল ডেভেলপ করতে
-
ক্লাস্টার অ্যানালিসিস
বিবিধ গ্রুপকে ছোট ছোট সিমিলার অবজেক্টের গ্রুপে ভাগ করার একটি স্ট্যাটিস্টিক্যাল মেথড, যেসব অবজেক্টের সিমিলারিটির ক্যারেক্টারিস্টিক আগে থেকে জানা নয়। ক্লাস্টার অ্যানালিসিসের একটি উদাহরণ হলো কনসিউমারকে সেলফ-সিমিলার গ্রুপে সেগমেন্ট করা টার্গেটেড মার্কেটিং-এর জন্য। ডেটা মাইনিং-এ ব্যবহৃত হয়।
-
ক্রাউডসোর্সিং
ক্রাউডসোর্সিং-এ নюয়ান্স হলো, একটি টাস্ক বা জব আউটসোর্স করা হয় কিন্তু কোনো ডেজিগনেটেড প্রফেশনাল বা অর্গানাইজেশনের কাছে নয়, বরং সাধারণ জনতার কাছে একটি ওপেন কল হিসেবে। ক্রাউডসোর্সিং একটি টেকনিক যা ডেটা সংগ্রহের জন্য ডিপ্লয় করা যায় বিভিন্ন সোর্স থেকে যেন টেক্সট মেসেজ, সোশ্যাল মিডিয়া আপডেট, ব্লগ ইত্যাদি। এটি এক ধরনের মাস কোলাবোরেশন এবং Web ব্যবহার করার একটি উদাহরণ।
-
ডেটা ফিউশন এবং ডেটা ইন্টিগ্রেশন
একটি মাল্টি-লেভেল প্রসেস যা সিঙ্গল এবং মাল্টিপল সোর্স থেকে ডেটা ও ইনফরমেশন অ্যাসোসিয়েশন, কোরিলেশন, কম্বিনেশন নিয়ে কাজ করে রিফাইনড পজিশন, আইডেন্টিফাই এস্টিমেট এবং কমপ্লিট ও টাইমলি অ্যাসেসমেন্ট অর্জন করতে সিচুয়েশন, হুমকি এবং তাদের গুরুত্বের।
ডেটা ফিউশন টেকনিক মাল্টিপল সেন্সর এবং রিলেটেড ইনফরমেশন অ্যাসোসিয়েটেড ডেটাবেস থেকে কম্বাইন করে আরও অ্যাকুরেট এবং স্পেসিফিক ইনফারেন্স অর্জন করতে যা একটি সিঙ্গল সেন্সর একলায় অর্জন করতে পারে না।
-
ডেটা মাইনিং
ডেটা মাইনিং হলো ডেটার মধ্য দিয়ে ছাঁটাই করে প্যাটার্ন সনাক্ত করা এবং সম্পর্ক প্রতিষ্ঠা করা। ডেটা মাইনিং রেফার করে কালেক্টিভ ডেটা এক্সট্রাকশন টেকনিকসকে যেগুলো বড় ভলিউমের ডেটায় পারফর্ম করা হয়। ডেটা মাইনিং প্যারামিটারগুলো হলো অ্যাসোসিয়েশন, সিকোয়েন্স অ্যানালিসিস, ক্লাসিফিকেশন, ক্লাস্টারিং এবং ফোরকাস্টিং।
অ্যাপ্লিকেশনগুলো شامل করে কাস্টমার ডেটা মাইনিং করে সেগমেন্ট নির্ধারণ করা যারা অফারের प्रति রেসপন্স দিতে সবচেয়ে সম্ভাব্য, হিউম্যান রিসোর্স ডেটা মাইনিং করে সফল কর্মীদের ক্যারেক্টারিস্টিক সনাক্ত করা, বা মার্কেট ব্যাস্কেট অ্যানালিসিস কাস্টমার পারচেস বিহেভিয়ার মডেল করার জন্য।
-
অ্যানসেম্বল লার্নিং
এটি বিবিধ লার্নিং অ্যালগরিদম কম্বাইন করার একটি কৌশল যাতে মডেলের স্ট্যাবিলিটি এবং প্রেডিক্টিভ পাওয়ার উন্নত করা যায়। এটি সুপারভাইজড লার্নিংর একটি টাইপ।
-
জেনেটিক অ্যালগরিদম
অপ্টিমাইজেশন টেকনিক যা জেনেটিক কম্বিনেশন, মিউটেশন, এবং ন্যাচারাল সিলেকশন যেন প্রসেস ব্যবহার করে একটি ডিজাইন যা ন্যাচারাল ইভোলিউশনের কনসেপ্টের ওপর বেসড। জেনেটিক অ্যালগরিদম এমন টেকনিক যা সবচেয়ে সম্ভাব্য ভিউড ভিডিও, টিভি শো এবং মিডিয়ার অন্যান্য ফর্ম সনাক্ত করতে ব্যবহৃত হয়। একটি ইভোলিউশনারি প্যাটার্ন রয়েছে যা জেনেটিক অ্যালগরিদম ব্যবহার করে করা যায়। ভিডিও এবং মিডিয়া অ্যানালিটিক্স জেনেটিক অ্যালগরিদম ব্যবহার করে করা যায়।
-
মেশিন লার্নিং
মেশিন লার্নিং আরেকটি টেকনিক যা একটি স্পেসিফিক ডেটা সেটের সম্ভাব্য ফলাফল ক্যাটাগরাইজ এবং নির্ধারণ করতে ব্যবহার করা যায়। মেশিন লার্নিং ডিফাইন করে এমন একটি সফ্টওয়্যার যা একটি নির্দিষ্ট ইভেন্ট সেটের সম্ভাব্য ফলাফল নির্ধারণ করতে পারে। এটাই প্রেডিক্টিভ অ্যানালিটিক্স-এ ব্যবহৃত হয়। প্রেডিক্টিভ অ্যানালিটিক্সের একটি উদাহরণ হলো লিগ্যাল কেস জয়ের প্রোবাবিলিটি বা নির্দিষ্ট প্রোডাকশনের সাফল্য।
-
ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং
কম্পিউটার সায়েন্সের একটি সাব-স্পেশালিটি (ঐতিহাসিকভাবে "আর্টিফিশিয়াল ইন্টেলিজেন্স" নামে ডাকা একটি ফিল্ডের মধ্যে) এবং লিঙ্গুইস্টিক্স থেকে টেকনিকের একটি সেট যা কম্পিউটার অ্যালগরিদম ব্যবহার করে হিউম্যান (ন্যাচারাল) ল্যাঙ্গুয়েজ অ্যানালাইজ করে। অনেক NLP টেকনিক মেশিন লার্নিংর টাইপ। NLP-এর একটি অ্যাপ্লিকেশন হলো সোশ্যাল মিডিয়ায় সেন্টিমেন্ট অ্যানালিসিস ব্যবহার করে নির্ধারণ করা যে প্রসপেক্টিভ কাস্টমাররা একটি ব্র্যান্ডিং ক্যাম্পেইনের প্রতি কীভাবে রিয়্যাক্ট করছেন।
-
নিউরাল নেটওয়ার্কস
নন-লিনিয়ার প্রেডিক্টিভ মডেল যা ট্রেনিং দিয়ে শেখে এবং বায়োলজিক্যাল নিউরাল নেটওয়ার্কের সাথে স্ট্রাকচার অনুকরণ করে। এগুলো প্যাটার্ন রিকগনিশন এবং অপ্টিমাইজেশনের জন্য ব্যবহার করা যায়। কিছু নিউরাল নেটওয়ার্ক অ্যাপ্লিকেশন সুপারভাইজড লার্নিং-এ জড়িত এবং অন্যগুলো আনসুপারভাইজড লার্নিং-এ। অ্যাপ্লিকেশনের উদাহরণ হলো হাই-ভ্যালু কাস্টমার সনাক্ত করা যারা একটি নির্দিষ্ট কোম্পানি ছাড়ার রিস্কে আছেন এবং ফরডুলেন্ট ইন্সুরেন্স ক্লেইম সনাক্ত করা।
-
অপ্টিমাইজেশন
কমপ্লেক্স সিস্টেম এবং প্রসেস রিডিজাইন করার জন্য নিউমেরিক্যাল টেকনিকের একটি পোর্টফোলিও যাতে তাদের পারফরম্যান্স এক বা একাধিক অবজেক্টিভ মেজার (যেমন কস্ট, স্পিড, বা রিলায়াবিলিটি) অনুযায়ী উন্নত করা যায়। অ্যাপ্লিকেশনের উদাহরণ شامل করে অপারেশনাল প্রসেস উন্নত করা যেন শিডিউলিং, রাউটিং, এবং ফ্লোর লেআউট, এবং স্ট্র্যাটেজিক ডিসিশন নেওয়া যেন প্রোডাক্ট রেঞ্জ স্ট্র্যাটেজি, লিংকড ইনভেস্টমেন্ট অ্যানালিসিস, এবং R&D পোর্টফোলিও স্ট্র্যাটেজি। জেনেটিক অ্যালগরিদম অপ্টিমাইজেশন টেকনিকের একটি উদাহরণ।
আমার পরবর্তী ব্লগে, আমি বাকি ১৩টি বিগ ডেটা অ্যানালিটিক্স টেকনিক বর্ণনা করব।
