রেডিস ব্যবহার করে কীভাবে একটি শক্তিশালী পাঠ্য র‌্যাঙ্কার তৈরি করবেন

এমন একটি বিশ্বে বসবাস করা যেখানে বেশিরভাগ লোক তাদের স্মার্টফোন ছাড়াই বাড়ি ছেড়ে চলে যাওয়ার জন্য সংগ্রাম করে তার মানে হল Google কখনই আমাদের থেকে খুব বেশি দূরে নয়৷ এক মুহূর্তের মধ্যে, আমরা গুগলের সার্চ ইঞ্জিনে সার্চ কোয়েরির মাধ্যমে প্রায় যেকোনো প্রশ্নের উত্তর খুঁজে পেতে পারি।

অনুসন্ধান ইঞ্জিনগুলি (এবং অসীম তথ্যে তাদের অ্যাক্সেস) দৈনন্দিন জীবনে একত্রিত করা হয়েছে, যা আমাদের অনেককেই তাদের উপর অবিশ্বাস্যভাবে নির্ভরশীল করে তুলেছে। এবং একটি সর্বোত্তম হওয়ার জন্য, Google এবং অন্যান্য প্রযুক্তি জায়ান্টদের দ্বারা সেট করা উচ্চ মানগুলির কারণে প্রশ্নের উত্তরগুলি অবিলম্বে পুনরুদ্ধার করা প্রয়োজন৷

যেকোন ল্যাগ, বিলম্ব বা ড্র্যাগ ব্যবহারকারীর অভিজ্ঞতাকে ব্যাহত করবে, এই কারণেই এই লঞ্চপ্যাড অ্যাপ, অ্যালেক্সিস, এই প্রতিবন্ধকতা কাটিয়ে উঠতে রেডিসকে প্রধান ডাটাবেস হিসেবে ব্যবহার করেছে।

এই অ্যাপ্লিকেশনটির প্রতিষ্ঠাতা, ববি ডনচেভ, সর্বাধিক দক্ষতার সাথে একটি প্রশ্নের উত্তরে একটি কর্পাস থেকে তথ্য পুনরুদ্ধার করার জন্য RedisAI এবং RediSearch-এর ক্ষমতা ব্যবহার করেছেন। ব্যবহারকারীরা পিডিএফ সূচী করতে এবং তাদের নথি থেকে তথ্য বের করতে একটি সাধারণ UI ব্যবহার করতে সক্ষম।

রেডিস ব্যতীত, সমগ্র অনুসন্ধান প্রক্রিয়াটি ধীর হয়ে যাবে, অ্যালেক্সিসের কার্যকারিতাকে বাধাগ্রস্ত করবে। ববি কীভাবে এই অ্যাপ্লিকেশনটিকে একত্রিত করেছে তা দেখে নেওয়া যাক।

যাইহোক, এগিয়ে যাওয়ার আগে, আমরা হাইলাইট করতে চাই যে আপনার জন্য Redis লঞ্চপ্যাডে চেক আউট করার জন্য আমাদের কাছে অ্যাপ্লিকেশনের একটি দুর্দান্ত পরিসরও রয়েছে। তাই এটা চেক আউট নিশ্চিত করুন!

1. আপনি কি নির্মাণ করবেন?
2. আপনার কি লাগবে?
3. স্থাপত্য
4. শুরু করা
5. কিভাবে ডেটা সংরক্ষণ করা হয়
6. কিভাবে ডেটা অ্যাক্সেস করা হয়
7. এটি কিভাবে কাজ করে

1. আপনি কী নির্মাণ করবেন?

আপনি সর্বাধিক গতিতে অনুসন্ধানের প্রশ্নগুলি পুনরুদ্ধার করতে সক্ষম একটি দক্ষ পাঠ্য র‌্যাঙ্কার তৈরি করবেন। ব্যবহারকারীরা গুরুত্বপূর্ণ পিডিএফগুলিকে সূচী করতে এবং সহজেই তাদের নথিগুলি থেকে উত্তরগুলি বের করতে এই অ্যাপ্লিকেশনটির সুবিধা নিতে সক্ষম হবেন৷

আমরা কালানুক্রমিক ক্রমে প্রতিটি ধাপের মধ্য দিয়ে যাব এবং অ্যাপ্লিকেশানটি তৈরি করতে কী কী উপাদান প্রয়োজন তা হাইলাইট করব।

• RediSearch : ইনডেক্স, ক্যোয়ারী এবং ফুল-টেক্সট সার্চ ইঞ্জিন 
• RedisAI : ডেটা পরিচালনা করতে এবং লেটেন্সি কমাতে ডিপ লার্নিং/মেশিন লার্নিং মডেল চালায়
• রিডিস স্ট্রীম : ডেটা খরচ পরিচালনা করে 
• নোডজেএস : একটি ওপেন-সোর্স, ক্রস-প্ল্যাটফর্ম হিসাবে ব্যবহৃত হয় যা একটি ওয়েব ব্রাউজারের বাইরে জাভাস্ক্রিপ্ট কোড কার্যকর করে
• RedisJSON : একটি নেটিভ ডেটা টাইপ হিসাবে ECMA-404 JSON ডেটা ইন্টারচেঞ্জ স্ট্যান্ডার্ড প্রয়োগ করে।

3. স্থাপত্য

অনুসন্ধানকারীর প্রশ্নের উত্তর প্রদান করা দুটি ধাপে ঘটে:

1. প্রথমত, আপনি এমন পাঠ্য নির্বাচন করুন যাতে উত্তরগুলি থাকতে পারে। এই ধাপের জন্য আপনাকে BM25 র‌্যাঙ্কিং ফাংশনের সাথে RediSearch ব্যবহার করতে হবে।
2. টেক্সটে উত্তর স্প্যান শনাক্ত করতে আপনি RedisAI-তে লোড করা একটি ট্রান্সফরমার AI মডেল ব্যবহার করতে পারেন।

প্রথম ধাপে RediSearch ব্যবহার করে, আপনি সার্চের স্থান ব্যাপকভাবে হ্রাস করবেন। এটি অ্যাপের সামগ্রিক অভিজ্ঞতাকে দ্রুততর করে তুলবে। এর পরে, আপনাকে ব্যাকএন্ডে টাইপস্ক্রিপ্ট সহ NodeJS ব্যবহার করতে হবে এবং ফ্রন্টএন্ডে টাইপস্ক্রিপ্টের সাথে প্রতিক্রিয়া করতে হবে।

RedisAI এবং RediSearch ব্যবহার করার পাশাপাশি, আপনি আপনার ব্যবহারকারী মডেলের জন্য RedisJSON-এর পাশাপাশি Redis স্ট্রীমসের সাথে বাস্তবায়িত একজন অ্যাসিঙ্ক্রোনাস কর্মী ব্যবহার করবেন।

ওয়েব সার্ভারটি এক্সপ্রেস ফ্রেমওয়ার্কের সাথে উন্মোচিত হয় যার নিম্নলিখিত শেষ পয়েন্ট রয়েছে:

একবার আপনি নিবন্ধন এবং অ্যাপে লগ ইন করলে, আপনি সূচীকৃত লাইব্রেরিতে নথি যোগ করা শুরু করতে সক্ষম হবেন। যখন একটি পিডিএফ আপলোড করা হয়, তখন একটি ইভেন্ট রেডিস স্ট্রিমগুলিতে লেখা হবে। পরে, গ্রাহক গোষ্ঠীর কেউ অ্যাসিঙ্ক প্রক্রিয়াকরণের জন্য ইভেন্টটি তুলে নেবে৷

আপনি তারপরে পিডিএফ প্রক্রিয়া করতে পারেন, কিছু পরিষ্কার করতে পারেন এবং পিডিএফটিকে একটি রেডিস হ্যাশে সংরক্ষণ করতে পারেন যা রেডিসার্চের সাথে সূচিত করা হয়েছে। আপনি এখন সার্ভারে স্বাভাবিক প্রশ্ন পাঠাতে সক্ষম হবেন এবং মৌলিক কীওয়ার্ড অনুসন্ধান যেমন 'কুবারনেটস ডিপ্লয়মেন্ট', 'ডিডিডি রুট এগ্রিগেট' ইত্যাদির মধ্যে সীমাবদ্ধ থাকবেন না। 

পরিবর্তে, আপনি আরও প্রাসঙ্গিক অনুসন্ধান অনুসন্ধান করতে সক্ষম হবেন।

ফ্লোচার্ট

নীচে অ্যালেক্সিস কীভাবে কাজ করে তার একটি সাধারণ ওভারভিউ।

• ব্যবহারকারী UI-তে একটি ক্যোয়ারী প্রবেশ করে যা পরে RediSearch-এ পাঠানো হয়
• RediSearch এবং BM25 ফাংশন উভয়ই তারপরে সবচেয়ে অর্থপূর্ণ বিষয়বস্তু খুঁজে পেতে কীওয়ার্ড ব্যবহার করে সক্রিয় করা হয়।
• কোন উত্তরটি ব্যবহারকারীর প্রশ্নের সাথে সবচেয়ে প্রাসঙ্গিক তা তুলনা করতে এবং সিদ্ধান্ত নেওয়ার জন্য এই বিষয়বস্তুটি তারপরে কোয়েরির সাথে RedisAI-তে প্রেরণ করা হয়।

 পিডিএফ আপলোড করুন এবং পিডিএফ সামগ্রী সূচী করুন

আপনার লাইব্রেরিতে নথি আমদানি করুন

এই পদ্ধতিটি শুরু করতে, আপনি হয় পর্দার কেন্দ্রে বাক্সে নথিগুলিকে টেনে আনতে এবং ফেলে দিতে পারেন বা ক্লাউড আইকনে ক্লিক করে ম্যানুয়ালি টেনে তুলতে পারেন৷ যখন এটি ঘটে, পিডিএফ সার্ভারে আপলোড করা হয় এবং পটভূমিতেও পরিষ্কার করা হয়। রেডিসের উন্নত ক্ষমতার কারণে এই প্রক্রিয়াটি কার্যকর।

আপনার প্রশ্ন করুন

যখন এটি ফুটে ওঠে, তখন প্রত্যেকেই আশা করে যে অনুসন্ধানের প্রশ্নগুলি তাৎক্ষণিকভাবে হতে পারে কোন বিলম্ব ছাড়াই যাই হোক না কেন৷ সর্বোপরি, এটিই ডিজিটাল যুগ, এবং যেকোনও পিছিয়ে থাকা ব্যবহারকারীদের কেবল দূরে এবং এমন কিছুর দিকে ঠেলে দেবে যা আরও সর্বোত্তম।

রেডিস ব্যবহার করে, অ্যালেক্সিস একটি প্রিমিয়াম স্ট্যান্ডার্ডে কাজ করতে সক্ষম হয়েছিল। বিভিন্ন অবস্থানে সবচেয়ে অর্থপূর্ণ বিষয়বস্তু সংগ্রহ করা দ্রুত এবং দক্ষ ছিল ধন্যবাদ RediSearch এর জন্য। এবং RedisAI-এর হাইপার-অ্যাডভান্সড ক্ষমতাগুলি এই বিষয়বস্তুর মাধ্যমে অনুসন্ধান করতে এবং ব্যবহারকারীদের তাদের প্রশ্নের সবচেয়ে প্রাসঙ্গিক এবং সঠিক উত্তর প্রদান করতে সক্ষম হয়েছিল।

আপনি যদি এই অ্যাপ্লিকেশনটি কীভাবে তৈরি করা হয়েছিল সে সম্পর্কে আরও আবিষ্কার করতে চান তবে আপনাকে ববির ইউটিউব ভিডিওটি দেখতে হবে। রেডিস লঞ্চপ্যাডে অনুপ্রাণিত হওয়ার জন্য আমাদের কাছে বিভিন্ন ধরনের অ্যাপ্লিকেশন রয়েছে।

হেলসিঙ্কিতে রিয়েল-টাইম বাস ট্র্যাকিং সিস্টেম তৈরি করা থেকে শুরু করে উন্নয়নশীল দেশগুলিতে শস্য বীমাকারীদের রক্ষা করার জন্য, সারা বিশ্ব থেকে প্রোগ্রামাররা দৈনন্দিন জীবনে পরিবর্তন আনতে Redis-এর বিস্ময়গুলিতে ট্যাপ করছে৷ এবং আপনিও পারেন!

ববি ডনচেভ

ববি হলেন একজন ডায়নামিক প্রোগ্রামিং ইঞ্জিনিয়ার যার ক্লায়েন্টদের জন্য সিস্টেম ডিজাইন এবং বাস্তবায়নের বারো বছরেরও বেশি অভিজ্ঞতা রয়েছে।

তিনি যে সমস্ত প্রজেক্টের সাথে জড়িত ছিলেন সেগুলির সাথে আপ টু ডেট থাকার জন্য তার GitHub পৃষ্ঠাটি দেখতে ভুলবেন না।