RedisDays NY 2022-এ, আমরা আমাদের নতুন ভেক্টর সাদৃশ্য অনুসন্ধান (VSS) ক্ষমতার সর্বজনীন পূর্বরূপ ঘোষণা করেছি। VSS হল RediSearch 2.4 এর অংশ এবং এটি Docker, Redis Stack, এবং Redis Enterprise Cloud-এর বিনামূল্যে এবং স্থির সাবস্ক্রিপশনে উপলব্ধ৷
এই নিবন্ধে, আমি আপনাকে ভেক্টর সাদৃশ্যের মৌলিক বিষয়গুলি এবং এর অ্যাপ্লিকেশনগুলি এবং রিডিস VSS-এর সাথে শুরু করার জন্য সংস্থানগুলি শেয়ার করব!
ভেক্টরের সাদৃশ্য কী?
সহজ কথায়, এটি দুই বা ততোধিক ভেক্টর কতটা ভিন্ন (বা একই রকম) তার একটি পরিমাপ। একটি ভেক্টরকে সংখ্যার একটি তালিকা হিসাবে ভাবুন।
এর মূলে, ভেক্টর অনুসন্ধান ডেভেলপারদের অডিও, প্রাকৃতিক ভাষা, ছবি, ভিডিও ক্লিপ, ভয়েস রেকর্ডিং এবং আরও অনেক ধরনের ডেটার উপর ভিত্তি করে তথ্য পুনরুদ্ধার করতে দেয়। অসংগঠিত ডেটা অনুসন্ধান করা ভিএসএসকে উন্নত সাদৃশ্য অনুসন্ধান অভিজ্ঞতা তৈরি করার জন্য একটি মৌলিক প্রযুক্তি করে তোলে।
আমার ডেটার জন্য এই ভেক্টরগুলি কীভাবে তৈরি হয়?AI-তে অগ্রগতির সাথে, ডেটা বিজ্ঞানীরা এমন মডেল তৈরি করতে পারেন যা প্রায় কোনও ডেটা "সত্তা" কে তার ভেক্টর প্রতিনিধিত্বে রূপান্তর করতে পারে। এখানে একটি সত্তা একটি লেনদেন, একটি ব্যবহারকারীর প্রোফাইল, একটি চিত্র, একটি শব্দ, পাঠ্যের একটি দীর্ঘ অংশ (বাক্য বা অনুচ্ছেদ), একটি সময় সিরিজ, বা একটি গ্রাফ হতে পারে৷ এগুলোর যে কোনো একটিকে এর "ফিচার ভেক্টর"-এ পরিণত করা যেতে পারে, যা "এম্বেডিং" নামেও পরিচিত৷
এই এমবেডিংয়ের মানে কী?ভেক্টর এম্বেডিং হল ডেটার সংখ্যাসূচক উপস্থাপনা। তারা একটি সত্তার সবচেয়ে প্রয়োজনীয় বৈশিষ্ট্যগুলিকে এমনভাবে ক্যাপচার করে যাতে কম্পিউটার এবং ডেটাবেসগুলি সহজেই তুলনা করতে পারে। এখানে আকর্ষণীয় অংশ হল যে যদি একটি মডেল দুটি সত্তার জন্য দুটি অনুরূপ এমবেডিং (ভেক্টর) তৈরি করে, আপনি অনুমান করতে পারেন যে দুটি মূল সত্তা কিছু মৌলিক উপায়ে একই রকম৷
এই এমবেডিংগুলি তৈরি করতে আমার কি একজন ডেটা বিজ্ঞানী হতে হবে?একেবারেই না! অনেকগুলি অবাধে উপলব্ধ এআই মডেল এবং লাইব্রেরি রয়েছে যা বিকাশকারীদের পাঠ্য, চিত্র বা সময়-সিরিজ ডেটা থেকে এমবেডিং তৈরি করতে দেয়। উদাহরণস্বরূপ, আপনি বাক্যগুলির জন্য এমবেডিং তৈরি করতে HuggingFace বাক্য ট্রান্সফরমার, চিত্রগুলির জন্য এমবেডিং তৈরি করতে Img2Vec এবং সময়-সিরিজ ডেটার জন্য এম্বেডিং তৈরি করতে Facebook Kats ব্যবহার করতে পারেন৷ এআই/এমএল অনুশীলনকারীরা তাদের ডেটা সত্তার জন্য "ঘন" বৈশিষ্ট্য উপস্থাপনা (ওরফে এম্বেডিং) তৈরি করার ধারণার সাথে পরিচিত। তারা এখন এই বৈশিষ্ট্য ভেক্টরগুলিকে Redis-এ সঞ্চয় করতে পারে এবং তাদের উপর মিল অনুসন্ধান করতে পারে।
ভেক্টর সাদৃশ্য অনুসন্ধানের সাথে কী ধরনের অ্যাপ্লিকেশন তৈরি করা যেতে পারে ?
এমন অনেকগুলি দৈনন্দিন অ্যাপ্লিকেশন রয়েছে যার সাথে আপনি ইন্টারঅ্যাক্ট করেন যেগুলি ভেক্টর সাদৃশ্য অনুসন্ধানের উপর নির্ভর করে।
একটি ই-কমার্স ওয়েবসাইটে ভিজ্যুয়াল অনুসন্ধান থেকে স্বয়ংক্রিয় চ্যাটবট / প্রশ্নোত্তর সিস্টেম এবং একাধিক ধরণের সুপারিশ সিস্টেম। আরও সাধারণভাবে, আপনি যে কোনও অ্যাপে VSS উপযোগী পাবেন যেখানে মান আনলক করার জন্য রিয়েল-টাইমে মিল খুঁজে পাওয়া অপরিহার্য। কিছু সাধারণ ব্যবহারের ক্ষেত্রে নীচে তালিকাভুক্ত করা হয়েছে:
– ই-কমার্স সুপারিশ:উন্নত অনুসন্ধান অভিজ্ঞতা এবং পণ্যের সুপারিশ পাওয়ার জন্য চাক্ষুষ মিল এবং/অথবা শব্দার্থগত মিল ব্যবহার করুন
- শব্দার্থগত সাদৃশ্য:পরিশীলিত অনুসন্ধান অভিজ্ঞতা, চ্যাটবট বা এমনকি প্রশ্ন এবং উত্তর দেওয়ার সিস্টেম তৈরি করুন
- টাইম-সিরিজ ডেটার সাদৃশ্য:রোগ ছড়ানোর ধরণগুলির মিল বা ঐতিহাসিক নিদর্শনের মিলের উপর ভিত্তি করে বাণিজ্য করার সুযোগগুলি আবিষ্কার করুন
- গ্রাফ ডেটাতে সাদৃশ্য:অভিনেতা বা নেটওয়ার্কগুলির বিভিন্ন (সম্ভবত সম্পর্কহীন) সেট জুড়ে সংযোগের অনুরূপ প্যাটার্নগুলি প্রকাশ করুন৷
- লেনদেনের সাদৃশ্য:পূর্বে শনাক্ত করা জালিয়াতি/হুমকি প্রচেষ্টার সাদৃশ্যের ভিত্তিতে সম্ভাব্য জালিয়াতি বা হুমকি সনাক্ত করুন
- ব্যবহারকারীর প্রোফাইল বা পণ্যের সাদৃশ্য:ব্যক্তিগতকৃত সুপারিশ তৈরি করুন; এমবেডিং ডেটা দ্বারা প্রকাশিত প্যাটার্নের উপর ভিত্তি করে আপনার গ্রাহক বিভাজন পরিমার্জন করুন
কিভাবে Redis ভেক্টর সাদৃশ্য অনুসন্ধান বাস্তবায়ন করে?>
RediSearch হল একটি Redis মডিউল যা রেডিস হ্যাশ বা JSON ফর্ম্যাট হিসাবে সংরক্ষিত Redis ডেটার জন্য কোয়েরি ক্ষমতা, সেকেন্ডারি ইনডেক্সিং এবং পূর্ণ-পাঠ্য অনুসন্ধান প্রদান করে। Redis 2.4 এর সাথে, Redis ভেক্টর সাদৃশ্য অনুসন্ধানের জন্য সমর্থন চালু করেছে।
RediSearch 2.4 এর সাথে, Redis বিকাশকারীরা করতে পারেন:
- রেডিস হ্যাশে BLOB হিসাবে সংরক্ষিত সূচক এবং কোয়েরি ভেক্টর ডেটা
- দুটি জনপ্রিয় ইন্ডেক্সিং পদ্ধতি ব্যবহার করুন:FLAT এবং HNSW
- তিনটি সাধারণ ভেক্টর দূরত্ব মেট্রিক্স ব্যবহার করুন:কোসাইন, অভ্যন্তরীণ পণ্য এবং ইউক্লিডিয়ান দূরত্ব
- হাইব্রিড কোয়েরিগুলি সম্পাদন করুন যা GEO, NUMERIC, TAG, বা TEXT ডেটাতে প্রথাগত RediSearch ফিল্টারিং ক্ষমতার সাথে ভেক্টরের সাদৃশ্যকে একত্রিত করে৷ একটি ই-কমার্স সেটিংয়ে একটি হাইব্রিড কোয়েরির একটি সাধারণ উদাহরণ হল "একটি জিও অবস্থানে এবং একটি মূল্য সীমার মধ্যে উপলব্ধ আইটেমগুলির মধ্যে সীমাবদ্ধ একটি প্রদত্ত ক্যোয়ারী চিত্রের মতো দৃশ্যত আইটেমগুলি খুঁজুন"৷
আপনি যদি পাইথনের সাথে সুবিধাজনক হন তবে এইগুলি ব্যবহার করে দেখুন:
- একটি পাবলিক অ্যামাজন ডেটাসেটে ভিজ্যুয়াল এবং শব্দার্থিক মিল
- আর্থিক সংবাদ নিবন্ধে অনুভূতি বিশ্লেষণ এবং শব্দার্থিক মিল
জাভার জন্য, আপনি এই মৌলিক ডেমোটি ব্যবহার করে দেখতে পারেন যা দেখায় কিভাবে একটি সূচক তৈরি করতে হয়, ডেটা লোড করতে হয় এবং ক্যোয়ারী করতে হয়।
এই দুটি RedisDay 2022 সেশনের রিপ্লে দেখার চেষ্টা করুন:
– মূল কথা :আপনার "আর্থিক পরিষেবা" অ্যাপ্লিকেশনগুলিতে রিয়েল-টাইম এআই যোগ করুন
– পর্দার পিছনে: কর্পোরেট ফাইলিং এ সমাহিত ট্রেডিং সংকেত প্রকাশ করতে AI ব্যবহার করা
সেশনগুলি এখন চাহিদা অনুযায়ী দেখার জন্য উপলব্ধ। আপনি সর্বদা "ভেক্টরের সাথে কাজ করা" এ রেডিসার্চ ডকুমেন্টেশন পরীক্ষা করতে পারেন।
আমি কিভাবে শুরু করতে পারি?
RediSearch 2.4 দিয়ে একটি Redis ডাটাবেস তৈরি করার তিনটি সহজ উপায় রয়েছে।
আপনার টার্মিনাল থেকে, আপনি নিম্নলিখিত যেকোন একটি দিয়ে এটি পেতে পারেন:
1) ডকার - "ডকার রান -পি 6379:6379 রিডিসল্যাবস/রিডিসার্চ:2.4.5"
2) রেডিস স্ট্যাক - "ব্রু ইন্সটল রেডিস-স্ট্যাক" (ম্যাক ওএস থেকে)। অন্যান্য অপারেটিং সিস্টেমের জন্য, "Redis Stack দিয়ে শুরু করা" চেষ্টা করুন
3) অবশেষে, আপনি রেডিস এন্টারপ্রাইজ ক্লাউডের সাথে একটি বিনামূল্যের সদস্যতাও তৈরি করতে পারেন
আপনি যদি রেডিস এন্টারপ্রাইজ ক্লাউড সাবস্ক্রিপশন রুটে যান, তাহলে “রেডিস স্ট্যাক ব্যবহার করতে ভুলবেন না ” বিকল্প হিসেবে এতে RediSearch 2.4.
