RedisDays NY 2022-এ, আমরা আমাদের নতুন ভেক্টর সিমিলারিটি সার্চ (VSS) ক্যাপাবিলিটির পাবলিক প্রিভিউ ঘোষণা করলাম। VSS RediSearch 2.4-র অংশ এবং ডকার, রেডিস স্ট্যাক, এবং রেডিস এন্টারপ্রাইজ ক্লাউডের ফ্রি এবং ফিক্সড সাবস্ক্রিপশনে উপলব্ধ।
এই আর্টিকেলে, আমি আপনাকে ভেক্টর সিমিলারিটির বেসিক্স, এর অ্যাপ্লিকেশন এবং রেডিস VSS-এ শুরু করার জন্য রিসোর্স শেয়ার করব!
সহজ ভাষায়, এটি দুটি বা অধিক ভেক্টর কতটা ভিন্ন (বা সিমিলার) সেটি মাপার একটি স্কেল। একটি ভেক্টর কল্পনা করুন একটি সংখ্যার তালিকা হিসেবে।
কেন ভেক্টর সিমিলারিটি সার্চ প্রোমিনেন্স পাচ্ছে?এর কোরে, ভেক্টর সার্চ ডেভেলপারদের ইনফরমেশন রিট্রিভ করতে দেয় অডিও, ন্যাচারাল ল্যাঙ্গুয়েজ, ইমেজ, ভিডিও ক্লিপ, ভয়েস রেকর্ডিং, এবং আরও অনেক ধরণের ডেটার ওপর ভিত্তি করে। আনস্ট্রাকচার্ড ডেটার ওপর সার্চ করার কারণে VSS একটি ফাউন্ডেশনাল টেকনোলজি এডভান্সড সিমিলারিটি সার্চ এক্সপেরিয়েন্স তৈরি করতে।
এই ভেক্টরগুলো আমার ডেটার জন্য কীভাবে জেনারেট হয়?AI-এ অগ্রগতির সাথে, ডেটা সায়েন্টিস্টরা মডেল বিল্ড করতে পারে যা প্রায় যেকোনো ডেটা "এন্টিটি"-কে এর ভেক্টর রিপ্রেজেন্টেশনে রূপান্তর করতে পারে। এন্টিটি এখানে হতে পারে একটি ট্রানজেকশন, একটি ইউজার প্রোফাইল, একটি ইমেজ, একটি সাউন্ড, একটি বড় টেক্সট पीস (সেন্টেন্স বা প্যারাগ্রাফ), একটি টাইম সিরিজ, বা একটি গ্রাফ। এই সব কে তার "ফিচার ভেক্টর"-এ রূপান্তর করা যায়, যাকে "এম্বেডিং"-ও বলা হয়।
এই এম্বেডিংগুলোর অর্থ কী?ভেক্টর এম্বেডিং হলো ডেটার নিউমেরিক্যাল রিপ্রেজেন্টেশন। সেগুলো একটি এন্টিটির সবচেয়ে অপরিহার্য ফিচারগুলো ক্যাপচার করে একটি ভাবে যা কম্পিউটার এবং ডাটাবেস সহজে তুলনা করতে পারে। আকর্ষণীয় অংশটি হলো যদি একটি মডেল দুটি সিমিলার এম্বেডিং (ভেক্টর) জেনারেট করে দুটি এন্টিটির জন্য, আপনি অনুমান করতে পারেন যে দুটি মূল এন্টিটি কিছু মৌলিকভাবে সিমিলার।
কি আমাকে ডেটা সায়েন্টিস্ট হতে হবে এই এম্বেডিং জেনারেট করার জন্য?সর্বथा নয়! বেশ কিছু ফ্রি उपलब्ध AI মডেল এবং লাইব্রেরি আছে যা ডেভেলপারদের টেক্সট, ইমেজ, বা টাইম-সিরিজ ডেটা থেকে এম্বেডিং জেনারেট করতে দেয়। উদাহরণস্বরূপ, আপনি HuggingFace Sentence Transformers ব্যবহার করতে পারেন সেন্টেন্সের জন্য এম্বেডিং জেনারেট করতে, Img2Vec ইমেজের জন্য, এবং Facebook Kats টাইম-সিরিজ ডেটার জন্য। AI/ML প্র্যাকটিশনাররা "ডেন্স" ফিচার রিপ্রেজেন্টেশন (a.k.a এম্বেডিং) জেনারেট করার কনসেপ্টের সাথে পরিচিত। তারা এখন এই ফিচার ভেক্টরগুলো রেডিসে স্টোর করতে পারে এবং সিমিলারিটি সার্চ পারফর্ম করতে পারে।
একাধিক রোজমার্রার অ্যাপ্লিকেশন আছে যেগুলো আপনি ইন্টারঅ্যাক্ট করেন যা ভেক্টর সিমিলারিটি সার্চের ওপর নির্ভর করে।
ই-কমার্স ওয়েবসাইটে ভিজ্যুয়াল সার্চ থেকে অটোমেটেড চ্যাটবট/Q&A সিস্টেম এবং একাধিক টাইপের রিকমেন্ডেশন সিস্টেম। আরও সাধারণভাবে, আপনি VSS কে যেকোনো অ্যাপে উপযোগী পাবেন যেখানে রিয়েল-টাইমে সিমিলারিটি স্পট করা মান আনলক করার জন্য অপরিহার্য। কিছু সাধারণ ইউজ কেস নিচে দেওয়া হলো:
– ই-কমার্স রিকমেন্ডেশন: ভিজ্যুয়াল সিমিলারিটি এবং/অথবা সেমান্টিক সিমিলারিটি ব্যবহার করে এডভান্সড সার্চ এক্সপেরিয়েন্স এবং প্রোডাক্ট রিকমেন্ডেশন পাওয়ার
– সেমান্টিক সিমিলারিটি: সফিস্টিকেটেড সার্চ এক্সপেরিয়েন্স, চ্যাটবট, বা এমনকি প্রশ্ন এবং উত্তর সিস্টেম বিল্ড করুন
– টাইম-সিরিজ ডেটায় সিমিলারিটি: রোগ ছড়ানোর প্যাটার্ন বা ইতিহাস প্যাটার্নের সিমিলারিটির ওপর ভিত্তি করে ট্রেড সুযোগ আবিষ্কার করুন
– গ্রাফ ডেটাতে সিমিলারিটি: ভিন্ন (সম্ভবত অনরিলেটেড) এক্টর বা নেটওয়ার্কের সেট জুড়ে কানেকশন প্যাটার্নের সিমিলারিটি উজাগর করুন
– ট্রানজেকশনের সিমিলারিটি: পূর্বে সনাক্ত ফрода/থ্রেট অটেম্প্টের সাথে সিমিলারিটির ভিত্তিতে পটেনশিয়াল ফрода বা থ্রেট ডিটেক্ট করুন
– ইউজার প্রোফাইল বা প্রোডাক্টের সিমিলারিটি: পারসোনালাইজড রিকমেন্ডেশন জেনারেট করুন; এম্বেডিং ডেটার প্যাটার্ন দ্বারা কাস্টমার সেগমেন্টেশন রিফাইন করুন
RediSearch একটি রেডিস মডিউল যা কুয়েরি एবিলিটি, সেকেন্ডারি ইন্ডেক্সিং, এবং ফুল-টেক্সট সার্চ প্রদান করে রেডিস ডেটার জন্য যা রেডিস হ্যাশ বা JSON ফরম্যাটে স্টোর করা থাকে। রেডিস ২.৪-এ, রেডিস ভেক্টর সিমিলারিটি সার্চের জন্য সাপোর্ট শুরু করল।
RediSearch 2.4-এ, রেডিস ডেভেলপাররা পারবেন:
– BLOB হিসেবে রেডিস হ্যাশে স্টোর করা ভেক্টর ডেটা ইন্ডেক্স এবং কুয়েরি করুন
– দুটি জনপ্রিয় ইন্ডেক্সিং মেথড ব্যবহার করুন: FLAT এবং HNSW
– তিনটি সাধারণ ভেক্টর ডিস্ট্যান্স মেট্রিক ব্যবহার করুন: কোসাইন, ইন্টারন্যাল প্রোডাক্ট, এবং ইউক্লিডিয়ান ডিস্ট্যান্স
– হাইব্রিড কুয়েরি পারফর্ম করুন যা ভেক্টর সিমিলারিটি কম্বাইন করে ট্রেডিশনাল RediSearch ফিল্টারিং ক্যাপাবিলিটির সাথে GEO, NUMERIC, TAG, বা TEXT ডেটার ওপর। ই-কমার্স সেটিং-এ একটি সাধারণ হাইব্রিড কুয়েরির উদাহরণ হলো "একটি দেওয়া কুয়েরি ইমেজের সাথে ভিজ্যুয়ালি সিমিলার আইটেম খুঁজুন যা একটি GEO লোকেশনে উপলব্ধ এবং একটি প্রাইস রেঞ্জের মধ্যে"।
যদি আপনি পাইথনে পারদর্শী হন, তবে এগুলো ট্রাই করুন:
– একটি পাবলিক Amazon ডেটাসেটে ভিজ্যুয়াল এবং সেমান্টিক সিমিলারিটি
– ফিনানশিয়াল নিউজ আর্টিকেলে সেন্টিমেন্ট অ্যানালিসিস এবং সেমান্টিক সিমিলারিটি
জাভার জন্য, আপনি এই বেসিক ডেমো ট্রাই করতে পারেন যা দেখায় কীভাবে একটি ইন্ডেক্স তৈরি করা যায়, ডেটা লোড করা যায়, এবং কুয়েরি করা যায়।
এই দুটি RedisDays 2022 সেশনের রিপ্লে দেখতে চান:
– Keynote: আপনার "ফিনানশিয়াল সার্ভিসেস" অ্যাপ্লিকেশনে রিয়েল-টাইম AI ইনফিউজ করুন
– Behind the Scenes: কর্পোরেট ফাইলিং-এ গোড়ানো ট্রেডিং সিগন্যাল উজাগর করতে AI ব্যবহার
সেশনগুলো এখন অন-ডিমান্ড দেখতে উপলব্ধ। আপনি সবসময় RediSearch ডকুমেন্টেশন "Working with Vectors"-এ চেক করতে পারেন।
RediSearch 2.4-এ রেডিস ডাটাবেস তৈরির তিনটি সহজ উপায় আছে।
আপনার টার্মিনাল থেকে, আপনি নিচের যেকোনো একটি দিয়ে পেতে পারেন:
1) Docker – "docker run -p 6379:6379 redislabs/redisearch:2.4.5"
2) Redis Stack – "brew install redis-stack" (Mac OS থেকে)। অন্যান্য অপারেটিং সিস্টেমের জন্য, "Getting started with Redis Stack" ট্রাই করুন
3) অবশেষে, আপনি রেডিস এন্টারপ্রাইজ ক্লাউডের সাথে একটি ফ্রি সাবস্ক্রিপশন তৈরি করতে পারেন
যদি আপনি রেডিস এন্টারপ্রাইজ ক্লাউড সাবস্ক্রিপশন রুট যান, নিশ্চিত করুন "Redis Stack" অপশনটি ব্যবহার করুন কারণ এতে RediSearch 2.4 অন্তর্ভুক্ত।
