আমার বিগ ডেটা সম্পর্কিত ব্লগগুলিতে এখন পর্যন্ত, আমি আপনাকে বিগ ডেটার বিভিন্ন দিক থেকে পরিচয় করিয়েছি, এর আসল অর্থ থেকে শুরু করে ফ্যাক্টস এবং Do's and Don'ts পর্যন্ত। আগের ব্লগে আমরা কিছু বিগ ডেটা অ্যানালিটিক্স টেকনিক দেখেছিলাম। তালিকাকে এই ব্লগে আরো এগিয়ে নিয়ে যাচ্ছি।
- প্যাটার্ন রিকগনিশন
প্যাটার্ন রিকগনিশন মেশিন লার্নিং-এর একটি শাখা যা ডেটায় প্যাটার্ন এবং রেগুলারিটি চেনার ওপর ফোকাস করে, যদিও কিছু কেসে এটি মেশিন লার্নিংয়ের প্রায় সমার্থক বলে বিবেচনা হয়। প্যাটার্ন রিকগনিশন সিস্টেম অনেক কেসে লেবেলড "ট্রেইনিং" ডেটা দিয়ে ট্রেন করা হয় (সুপারভাইজড লার্নিং), কিন্তু যখন কোনো লেবেলড ডেটা উপলব্ধ নয়, অন্য অ্যালগরিদম ব্যবহার করা হয় পূর্বে অজানা প্যাটার্ন আবিষ্কার করার জন্য (আনসুপারভাইজড লার্নিং)।
- প্রেডিক্টিভ মডেলিং
প্রেডিক্টিভ অ্যানালিটিক্স বিভিন্ন টেকনিক সমন্বিত যা ইতিহাসগত এবং বর্তমান ডেটা বেসড ভবিষ্যতের আউটকাম প্রেডিক্ট করে। প্র্যাক্টিসে, প্রেডিক্টিভ অ্যানালিটিক্স প্রায় সকল ডিসিপ্লিনে প্রয়োগ করা যায়- হাজার হাজার সেন্সর থেকে ডেটা স্ট্রিম বেসড জেট ইঞ্জিনের ব্যর্থতা প্রেডিক্ট করা থেকে শুরু করে কাস্টমাররা কী কেনবে, কখন কেনবে, এবং এমনকি সোশ্যাল মিডিয়ায় তারা কী বলছে সেটি বেসড তাদের পরবর্তী মুভ প্রেডিক্ট করার পর্যায় পর্যন্ত। প্রেডিক্টিভ অ্যানালিটিক্স টেকনিক মূলত סט্যাটিস্টিক্যাল মেথডের ওপর ভিত্তি করে।
- রিগ্রেশন অ্যানালিসিস
এটি একটি টেকনিক যা ইন্ডিপেন্ডেন্ট ভেরিয়েবল এবং সেগুলো কীভাবে ডিপেন্ডেন্ট ভেরিয়েবলকে প্রভাবিত করে সেটি ব্যবহার করে। এটি সোশ্যাল মিডিয়া অ্যানালিটিক্স নির্ধারণে খুব উপকারী হতে পারে যেমন- ইন্টারনেট প্ল্যাটফর্মে ভালোবাসা পাওয়ার প্রোব্যাবিলিটি।
- সেন্টিমেন্ট অ্যানালিসিস
সেন্টিমেন্ট অ্যানালিসিস গবেষকদের সাহায্য করে স্পিকার বা রাইটারের সেন্টিমেন্ট নির্ধারণ করতে একটি টপিকের সাথে সম্পর্কে। সেনটিমেন্ট অ্যানালিসিস ব্যবহার হচ্ছে:
- হোটেল চেইনে গেস্ট কমেন্ট অ্যানালাইজ করে সার্ভিস উন্নত করতে।
- কাস্টমাররা আসলে কী চায় সেটি অ্যাড্রেস করার জন্য ইনসেন্টিভ এবং সার্ভিস কাস্টমাইজ করতে।
- সোশ্যাল মিডিয়া থেকে মতামত বেসড কনসিউমাররা আসলে কী চিন্তা করে সেটি নির্ধারণ করতে।
- সিগন্যাল প্রসেসিং
সিগন্যাল প্রসেসিং একটি ইनेবলিং টেকনোলজি যা ফান্ডামেন্টাল থিওরি, অ্যাপ্লিকেশন, অ্যালগরিদম, এবং ইমপ্লিমেন্টেশন অফ প্রসেসিং অথবা ট্রান্সফারিং ইনফরমেশন কনটেইনড ইন মানি ডিফারেন্ট ফিজিক্যাল, সিম্বলিক, বা অ্যাবস্ট্রাক্ট ফরম্যাট ব্রডলি ডেজিগনেটেড أز সিগন্যালস কভার করে। এটি ম্যাথম্যাটিক্যাল, স্ট্যাটিস্টিক্যাল, কম্পিউটেশনাল, হিউরিস্টিক, এবং লিংউইস্টিক রিপ্রেজেন্টেশন, ফরম্যালিজম, এবং টেকনিক ফর রিপ্রেজেন্টেশন, মডেলিং, অ্যানালিসিস, সিনথেসিস, ডিসকভারি, রিকভারি, সেন্সিং, একুইজিশন, এক্সট্রাকশন, লার্নিং, সিকিউরিটি, বা ফরেনসিক্স ব্যবহার করে। স্যাম্পল অ্যাপ্লিকেশন অন্তর্ভুক্ত করে টাইম সিরিজ অ্যানালিসিসের জন্য মডেলিং অথবা ডেটা ফিউশন ইমপ্লিমেন্ট করা একটি মোর প্রিসাইজ রিডিং নির্ধারণের জন্য কম প্রিসাইজ ডেটা সোর্সের সেট থেকে ডেটা কম্বাইন করে (অর্থাৎ, নয়জ থেকে সিগন্যাল এক্সট্র্যাক্ট করা)।
- স্পেশিয়াল অ্যানালিসিস
স্পেশিয়াল অ্যানালিসিস হলো প্রক্রিয়া যার মাধ্যমে আমরা রড ডেটাকে উপযোগী ইনফরমেশনে রূপান্তর করি। এটি হলো স্পেশিয়াল ডেটাতে ফিচারদের লোকেশন, অ্যাট্রিবিউট, এবং রিলেশনশিপ পরীক্ষা করার প্রক্রিয়া ওভারলে এবং অন্যান্য অ্যানালিটিক্যাল টেকনিকের মাধ্যমে যাতে কোনো প্রশ্নের উত্তর দেয়া যায় বা উপযোগী নলেজ অর্জন করা যায়। স্পেশিয়াল অ্যানালিসিস স্পেশিয়াল ডেটা থেকে নিউ ইনফরমেশন এক্সট্র্যাক্ট বা ক্রিয়েট করে।
- স্ট্যাটিস্টিক্স
স্ট্যাটিস্টিক্স-এ, এক্সপ্লরেটরি ডেটা অ্যানালিসিস হলো ডেটা সেট অ্যানালাইজ করার একটি অপ্রোച്ച যাতে তাদের মূল বৈশিষ্ট্য সামারাইজ করা যায়, প্রায়শই ভিজুয়াল মেথডের মাধ্যমে। একটি স্ট্যাটিস্টিক্যাল মডেল ব্যবহার করা হয়তে পারে বা নাও, কিন্তু প্রাথমিকভাবে EDA হলো দেখার জন্য ডেটা আমাদের কী বলতে পারে ফরম্যাল মডেলিং বা হাইপোথেসিস টেস্টিং টাস্কের বাইরে। স্ট্যাটিস্টিক্যাল টেকনিক Type I এরর ("ফালস পজিটিভ") এবং Type II এরর ("ফালস নেগেটিভ")-র লাইকলিহুড কমানোতে ব্যবহৃত হয়। একটি অ্যাপ্লিকেশন উদাহরণ হলো A/B টেস্টিং যাতে নির্ধারণ করা যায় কোন টাইপের মার্কেটিং ম্যাটেরিয়াল রেভিনিউ সবচেয়ে বেশি বাড়াবে।
- সুপারভাইজড লার্নিং
সুপারভাইজড লার্নিং হলো লেবেলড ট্রেইনিং ডেটা থেকে একটি ফাংশন ইনফার করার মেশিন লার্নিং টাস্ক। ট্রেইনিং ডেটা কনসিস্ট করে ট্রেইনিং এক্সাম্পল এর একটি সেট। সুপারভাইজড লার্নিং-এ, প্রতিটি এক্সাম্পল একটি পেয়ার যেটি কনসিস্ট করে একটি ইনপুট অবজেক্ট (টিপিক্যালি একটি ভেক্টর) এবং একটি ডিজায়ারড আউটপুট ভ্যালু (একেও সুপারভাইজরি সিগন্যাল বলা হয়)। একটি সুপারভাইজড লার্নিং অ্যালগরিদম ট্রেইনিং ডেটা অ্যানালাইজ করে এবং একটি ইনফারড ফাংশন প্রডিউস করে, যা নতুন এক্সাম্পল ম্যাপ করার জন্য ব্যবহার করা যেতে পারে।
- সোশ্যাল নেটওয়ার্ক অ্যানালিসিস
সোশ্যাল নেটওয়ার্ক অ্যানালিসিস হলো একটি টেকনিক যা প্রথমে টেলিকমিউনিকেশন ইন্ডাস্ট্রিতে ব্যবহার করা হয়েছিল, এবং তারপর দ্রুত সোসিওলজিস্টরা আডপ্ট করেছিল পারসোনাল রিলেশনশিপ স্টাডি করার জন্য। এখন এটি অনেক ফিল্ড এবং কমার্শিয়াল এক্টিভিটিতে মানুষের মধ্যে রিলেশনশিপ অ্যানালাইজ করার জন্য প্রয়োগ হচ্ছে। নোডস একটি নেটওয়ার্কের মধ্যে אינডিভিজুয়ালকে রিপ্রেজেন্ট করে, дока টাইস অনদের মধ্যে রিলেশনশিপকে রিপ্রেজেন্ট করে।
- সিমুলেশন
কমপ্লেক্স সিস্টেমের আচরণ মডেল করা, যা প্রায় ফোরকাস্টিং, প্রেডিক্টিং এবং সিনারিও প্ল্যানিংয়ের জন্য ব্যবহৃত হয়। মন্টে কার্লো সিমুলেশন, উদাহরণস্বরূপ, অ্যালগরিদমের একটি ক্লাস যা রিপিটেড র্যান্ডম স্যাম্পলিং-র ওপর নির্ভর করে, অর্থাৎ, হাজার হাজার সিমুলেশন চালানো, প্রতিটি ভিন্ন ধারণার ওপর বেসড। ফলাফল হলো একটি হিস্টোগ্রাম যা আউটকামের প্রোব্যাবিলিটি ডিস্ট্রিবিউশন দেয়। একটি অ্যাপ্লিকেশন হলো ফাইন্যান্সিয়াল টার্গেট মিট করার লাইকলিহুড অसेস করা বিভিন্ন ইনিশিয়েটিভের সাফল্যের অনিশ্চিততা দিয়ে।
- টাইম সিরিজ অ্যানালিসিস
টাইম সিরিজ অ্যানালিসিস মেথড সমন্বিত যা টাইম সিরিজ ডেটা অ্যানালাইজ করার জন্য যাতে 의미ফুল স্ট্যাটিস্টিক্স এবং ডেটার অন্যান্য বৈশিষ্ট্য এক্সট্র্যাক্ট করা যায়। টাইম সিরিজ ডেটা প্রায়শই উদ্ভূত হয় যখন ইন্ডাস্ট্রিয়াল প্রসেস মনিটর করা হয় বা কর্পোরেট বিজনেস মেট্রিক্স ট্র্যাক করা হয়। টাইম সিরিজ অ্যানালিসিস একাউন্ট করে যে ডেটা পয়েন্টসমূহ সময়ের সাথে নেওয়া হলে ইন্টারনাল স্ট্রাকচার (যেমন অটোকরিলেশন, ট্রেন্ড বা সিজনাল ভ্যারিয়েশন) থাকতে পারে যা একাউন্ট করা উচিত। টাইম সিরিজ অ্যানালিসিসের উদাহরণ অন্তর্ভুক্ত করে স্টক মার্কেট ইন্ডেক্সের আওয়ারলি ভ্যালু বা প্রতিদিন কতজন রোগী একটি নির্দিষ্ট কন্ডিশনে ডায়াগনোজ হচ্ছে।
- আনসুপারভাইজড লার্নিং
আনসুপারভাইজড লার্নিং হলো আনলেবেলড ডেটা থেকে হিডেন স্ট্রাকচার বর্ণনা করার একটি ফাংশন ইনফার করার মেশিন লার্নিং টাস্ক। যেহেতু লার্নারকে দেওয়া এক্সাম্পলগুলো আনলেবেলড, তাই কোনো এরর বা রিওয়ার্ড সিগন্যাল নেই একটি পোটেনশিয়াল সমাধান ইভ্যালুয়েট করার জন্য- এটি অনসুপারভাইজড লার্নিংকে সুপারভাইজড লার্নিং এবং রিইনফোর্সমেন্ট লার্নিং থেকে আলাদা করে।
যাইহোক, আনসুপারভাইজড লার্নিং আরও অনেক টেকনিক কভার করে যা ডেটার কি ফিচার সামারাইজ ও ব্যাখ্যা করতে চায়।
- ভিজুয়ালাইজেশন
ডেটা ভিজুয়ালাইজেশন হলো ডেটাকে পিক্টোরিয়াল বা গ্রাফিক্যাল ফরম্যাটে প্রস্তুত করার প্রক্রিয়া। এটি ডিসিশন মেকারদের অ্যানালিটিক্স ভিজুয়ালি দেখতে দেয়, যাতে তারা কঠিন কনসেপ্ট বুঝতে পারে বা নতুন প্যাটার্ন চেনে পারেন। ইন্টারঅ্যাক্টিভ ভিজুয়ালাইজেশন দিয়ে, আপনি কনসেপ্টটি এক ধাপ এগিয়ে নিতে পারেন টেকনোলজি ব্যবহার করে চার্ট এবং গ্রাফে ড্রিল ডাউন করে আরও ডিটেইল পেতে, ইন্টারঅ্যাক্টিভলি পরিবর্তন করে আপনি কী ডেটা দেখছেন এবং কীভাবে সেটি প্রসেস হচ্ছে।
উপসংহার
বিগ ডেটা অ্যানালিটিক্স ইনফরমেশন টেকনোলজি ইন্ডাস্ট্রিতে সবচেয়ে গুরুত্বপূর্ণ ব্রেকথ্রুগুলির একটি। আসলে, বিগ ডেটা প্রায় সকল সেক্টরে এবং সেই ইন্ডাস্ট্রির সকল ডিপার্টমেন্টে তার গুরুত্ব এবং প্রয়োজনীয়তা দেখিয়েছে। জীবনের এক এক দিকও বিগ ডেটা দ্বারা অনুপ্রাণিত নয় এমন কোনো দিক নেই। তাই আমাদের এই বিশাল পরিমাণ ডেটা দক্ষতার সাথে ম্যানেজ করার জন্য বিগ ডেটা অ্যানালিটিক্স দরকার।
পہلے বলা হয়েছে এই তালিকা এক্সহাস্টিভ নয়। গবেষকরা এখনও নতুন উপায়ে এক্সপেরিমেন্ট করছেন এই বিশাল পরিমাণ ডেটা অ্যানালাইজ করার জন্য যা 다양한 রূপে আছে এবং যার জেনারেশন স্পীড সময়ের সাথে বাড়ছে আমাদের স্পেসিফিক ব্যবহারের জন্য ভ্যালু ডেরাইভ করতে।
