রিট্রিভ-অগমেন্টেড জেনারেশন (RAG) বড় ভাষা মডেলকে বাহ্যিক জ্ঞান দিয়ে সমৃদ্ধ করার জন্য তৈরি। এটি ডেমোতে খুব সুন্দর কাজ করতে পারে: একটি ছোট কিউরেটেড ডেটাসেট, ক্লিন কোয়েরি, এবং আনকানস্ট্রেন্ড লেটেন্সি বাজেট জানালেজবল, গ্রাউন্ডেড উত্তর দেয় যা ব্যবহারকারীরা সঠিক বলে বিশ্বাস করে। কিন্তু অনেক টিম পান যে একবার তাদের RAG অ্যাপ্লিকেশন ব্যবহারকারীদের কাছে ডিপ্লয় করলে, পারফরম্যান্স ধ্বংস হয়ে যায়। কোয়েরি অস্পষ্ট হয়, করপাস বড় হয়, রিট্রিভ কোয়ালিটি কমে, লেটেন্সি বড় হয়, এবং সিস্টেম সাইলেন্টলি একুরেসিতে হ্রাস পেতে শুরু করে। এর চেয়েও খারাপ, দুর্বল ইভ্যালুয়েশন টেকনিক সিস্টেম কোথায় ব্যর্থ হচ্ছে সেটি লুকিয়ে রাখে যতক্ষণ না ব্যবহারকারীরা শিকায়ত করে। এই নিবন্ধে প্রোডাকশনে অনেক RAG সিস্টেম কেন ব্যর্থ হয় সেটির কারণগুলো আলোচনা করা হয়েছে। আমরা সাম্প্রতিক গবেষণা এবং ইন্ডাস্ট্রি গাইডলাইন থেকে রেফারেন্স নেওয়া হয়েছে। আমরা ইস্যুগুলো রিট্রিভ কোয়ালিটি, লেটেন্সি ট্রেড-অফ, এমবেডিং ড্রিফট, এবং ইভ্যালুয়েশন গ্যাপের চারদিকেই ফ্রেম করেছি ব্যর্থতার একটি চেইন হিসেবে। এই চেইনের প্রতিটি লিংককে হিসাব করা দরকার একটি সtright প্রোডাকশন RAG সিস্টেম বানানোর জন্য।
মূল নिष्कর্ষসমূহ
- অধিকাংশ RAG ব্যর্থতা রিট্রিভে শুরু হয়, জেনারেশনে নয়। যখন সিস্টেম অসম্পূর্ণ, অপ্রাসঙ্গিক, বা খারাপ র্যাঙ্ক করা ইভিডেন্স রিট্রিভ করে, তবে একটি শক্তিশালী LLM-ও দুর্বল উত্তর দেয়।
- বेहতর রিট্রিভের জন্য বেটার ইঞ্জিনিয়ারিং চয়েস দরকার। ডোমেইন-অয়ার চাঙ্কিং, হাইব্রিড রিট্রিভ, এবং রি-র্যাঙ্কিং কোর টেকনিক হিসেবে প্রস্তাবিত হয়েছে রিলেভেন্সি বাড়াতে এবং সাইলেন্ট রিট্রিভ ব্যর্থতা কমাতে।
- লেটেন্সি দ্রুত একটি প্রোডাকশন বটলнеক হয়ে যায়। বড় top_k, রি-র্যাঙ্কার, লং কন্টেক্সট, এবং এক্সট্রা রিট্রিভ স্টেপ যোগ করলে রিকল বাড়তে পারে, কিন্তু সিস্টেমকে রিয়েল ইউজারের জন্য খুব ধীর করে দিতে পারে।
- এমবেডিং ড্রিফট সাইলেন্টলি পারফরম্যান্স ডিগ্রেড করে সময়ের সাথে। এমবেডিং মডেল, ডকুমেন্ট কালেকশন, এবং ইউজার ভোকাবুলেরি পরিবর্তন সব রিট্রিভ বিহেভিয়ার শিফ্ট করতে পারে, তাই ভার্সনিং এবং অবজার্বেবিলিটি দরকার।
- ফাইনাল-আনসার কোয়ালিটি একমাত্র ইভ্যালুয়েশনের জন্য যথেষ্ট নয়। টিমদের আলাদা রিট্রিভ এবং জেনারেশন মেট্রিক, রিয়েলিস্টিক টেস্ট সেট, চলমান মনিটরিং, এবং ইভিডেন্স দুর্বল বা অনুপস্থিত থাকলে সিস্টেমকে অ্যাবস্টেইন করার ক্ষমতা দরকার।
খারাপ রিট্রিভ কোয়ালিটির কারণে ব্যর্থতা
প্রোডাকশনে ডিপ্লয় করা RAG সিস্টেমের ব্যর্থতার সবচেয়ে ঘন ঘন কারণগুলোর একটি হচ্ছে নিম্ন রিট্রিভ কোয়ালিটি। ডেভেলপাররা প্রায়শই LLMকে দোষ দেন ভুল/খারাপ উত্তরের জন্য; তবে, দোষ সাধারণত পাইপলাইনের আগের দিকে থাকে। যদি সিস্টেম সম্পূর্ণ বা প্রাসঙ্গিক ইভিডেন্স রিট্রিভ না করতে পারে, বা ইভিডেন্স খারাপ র্যাঙ্ক করে, তবে সেরা মডেলও একটি বিশ্বস্ত প্রতিক্রিয়া জেনারেট করতে অসমর্থ হবে। রিট্রিভ কোয়ালিটি একটি ফার্স্ট-ক্লাস ইঞ্জিনিয়ারিং উদ্বেগ হিসেবে বিবেচনা করা উচিত পটভূমির একটি ধাপ হিসেবে নয়।
অধিকাংশ ব্যর্থতা LLM কোয়েরি দেখার আগেই হয়ে যায়
স্ট্যান্ডার্ড পাইপলাইন ইউজার কোয়েরি এমবেড করে, ভেক্টর স্টোর থেকে টপ-কে ডকুমেন্ট রিট্রিভ করে, এবং সেগুলো LLM-এ পাঠিয়ে দেয়। সেই পাইপলাইনের প্রতিটি অ্যারো একটি Потেনশিয়াল ফেইলার পয়েন্ট।
নেইভ RAG এই ব্যর্থতাগুলো লুকিয়ে রাখে কারণ সিস্টেম একটি উত্তর দেয় রিট্রিভ ভুল হলেও। অনেক প্রোডাকশন ইস্যু ব্যাড চাঙ্কিং স্ট্র্যাটেজি, লিমিটেড রিকল, এবং মিসিং রি-র্যাঙ্কিং থেকে আসে, LLM-এর কমियों থেকে নয়।
চাঙ্কিং মিস্টেক সাইলেন্ট ব্যর্থতা সৃষ্টি করে
চাঙ্ক সাইজ প্রিসিশন/রিকল প্রভাবিত করে — বড় চাঙ্ক বেশি কন্টেক্সট দেয় কম রিলেভেন্সির সাথে, যখন ছোট চাঙ্ক বেশি প্রিসিশন দেয় কিন্তু সাররাউন্ডিং ইনফরমেশন হারায়। হায়ারার্কিক্যাল (প্যারেন্ট-চাইল্ড) চাঙ্কিং এই ট্রেড-অফ সমাধান করে পুরো সেকশনকে প্যারেন্ট চাঙ্ক হিসেবে সংরক্ষণ করে এবং শুধু ছোট প্রাসঙ্গিক চাইল্ড চাঙ্ক রিট্রিভ করে।
NVIDIA-এর অভ্যন্তরীণ টেস্টিং ইউনিভার্সিটি প্রেজেন্টেশন ডেক্সে পেয়েছে যে হায়ারার্কিক্যাল চাঙ্কিং আন্সার একুরেসি ৬১% থেকে ৮৯% এ বাড়িয়েছে ফিক্সড-সাইজ চাঙ্কের সাথে তুলনায়। একটি উপযুক্ত চাঙ্ক সাইজ বেছে নেওয়া গুরুত্বপূর্ণ স্ট্রাকচারাল বাউন্ডারি মেনে চলতে এবং ডোমেইন-অয়ার স্প্লিটিং প্রয়োগ করতে।
হাইব্রিড রিট্রিভ এবং রি-র্যাঙ্কিং
পিউর ডেন্স রিট্রিভ সেম্যান্টিক সিমিলারিটিতে ভালো কিন্তু এক্স্যাক্ট আইডেন্টিফায়ার মিস করে। পিউর কীওয়ার্ড সার্চ এক্স্যাক্ট টার্মের প্রতি সেন্সিটিভ কিন্তু সেম্যান্টিক প্যারাফ्रेजে ব্যর্থ হয়। হাইব্রিড রিট্রিভ সিস্টেম ডেন্স (ভেক্টর) রিট্রিভ এবং স্পার্স (BM25/কীওয়ার্ড) রিট্রিভ একসাথে চালায়, তারপর তাদের ফলাফল ফিউজ করে রেসিপ্রোক্যাল র্যাঙ্ক ফিউশনের মাধ্যমে।
হাইব্রিড রিট্রিভ সিস্টেম ভোকাবুলারি মিসম্যাচ সমাধান করে সেম্যান্টিক সিমিলারিটি সিগন্যাল এবং লেক্সিক্যাল ম্যাচিং সিগন্যাল কম্বাইন করে। ফিউশনের পর ক্যান্ডিডেট পেয়ারকে একটি রি-র্যাঙ্কার (ক্রস-এনকোডার) দিয়ে রি-স্কোর করা রিকল বাড়ায়। মূলত, রি-র্যাঙ্কার রিট্রিভ করা ডকুমেন্টগুলো রি-অর্ডার করে যাতে শুধু সবচেয়ে প্রাসঙ্গিক ডকুমেন্টগুলো LLM যে কন্টেক্সট রিভিউ করবে সেখানে চলে যায়। এটি টোকেন লিমিট বাঁচায় এবং কন্টেক্সট স্টাফিং এড়াতে সাহায্য করে যখন LLM রিকল উন্নত করে।
রিট্রিভ মেট্রিক আলাদা মনিটর করা উচিত
টিমগুলো 성향গতভাবে শুধু এন্ড-টু-এন্ড আনসার কোয়ালিটি মেজার করে। রিট্রিভের নিজস্ব মেট্রিক আছে যা আপনি ব্যবহার করতে পারেন: precision@k (রিট্রিভ করা চাঙ্কের কত অংশ প্রাসঙ্গিক? ), recall@k (প্রাসঙ্গিক চাঙ্কের কতাংশ আপনি রিট্রিভ করতে পেরেছেন? ), মিন রেসিপ্রোক্যাল র্যাঙ্ক (প্রথম প্রাসঙ্গিক চাঙ্ক কত উপরে ছিল? ), এবং নরমালাইজড ডিসকাউন্টেড কিউমুলেটিভ গেইন (আপনার সামগ্রিক র্যাঙ্কিং কত ভালো? )।
আপনি যদি এগুলো মেজার না করেন, তবে আপনি জানতে পারবেন না ব্যর্থতা খারাপ রিট্রিভ থেকে হচ্ছে কি খারাপ জেনারেটর থেকে। টেস্ট কোয়েরি এবং গোল্ডেন ডেটাসেট আপনাকে অফলাইন ইভ্যালুয়েট করতে দেবে। আপনি যদি রিয়েল কোয়েরিতে এই মেট্রিক ট্র্যাক করেন, তবে প্রোডাকশন রিগ্রেশন সারফেস করতে পারবেন।
উদাহরণ দিয়ে রিট্রিভ ব্যর্থতা ডায়াগনোস করা
অস্পষ্ট কোয়েরি এবং ভোকাবুলারি মিসম্যাচ প্রায়শই ভুল রিট্রিভ সৃষ্টি করে। একজন ব্যবহারকারী "salary" খুঁজতে পারে যখন ডকুমেন্টে "compensation package" বলা আছে। ডেন্স এমবেডিং সিনোনিম চেনায় না, কিন্তু হাইব্রিড রিট্রিভ এটি ঠিক করে। আরেকটি কেস হচ্ছে এক্স্যাক্ট ম্যাচের জন্য, যেমন আইডেন্টিফায়ার। "SKU-B4920" বা "Section 4.2.1" এর জন্য কোয়েরির এক্স্যাক্ট লেক্সিক্যাল ম্যাচিং দরকার।
"Lost in the middle" হয় যখন প্রাসঙ্গিক তথ্য একটি লম্বা ডকুমেন্টের গভীরে চাপা থাকে। LLM মিডল চাঙ্কের টোকেনগুলো অন্ডারওয়েইট করে।
চাঙ্কিং আর্টিফ্যাক্টس উৎপন্ন হয় যখন একটি উত্তর দুটি চাঙ্কে ভাগ থাকে, তাই কোনো চাঙ্কে পুরো উত্তর নেই। হায়ারার্কিক্যাল চাঙ্কিং প্যারেন্ট এবং চাইল্ড নোড কানেক্ট করে এটি মিটিগেট করতে সাহায্য করে।
রিয়েল সিস্টেমে লেটেন্সি বিস্ফোরণের কারণে ব্যর্থতা
লেটেন্সি হলো প্রধান কারণগুলোর একটি যেন একটি RAG সিস্টেম যা ডেমোতে কাজ করে সেটি প্রোডাকশনেस्ट्रাগল করে। রিট্রিভ পাইপলাইন যতদিন উন্নত হয়, রেসপন্স টাইম ততদিন দ্রুত বড় হতে পারে এবং টিমদের আন্সার কোয়ালিটি এবং ইউজেবিলিটির মধ্যে ট্রেড-অফ করতে বাধ্য করে।
রিট্রিভ-লেটেন্সি ট্রেড-অফ
প্রোডাকশন টিমস প্রায়শই রিট্রিভ কোয়ালিটি এবং তাদের লেটেন্সি বাজেটের মধ্যে ব্যালেন্স করতে হয়। প্রতিটি জিনিস যা রেসপন্স টাইম বাড়ায় (top_k বড় করা, হাইব্রিড রিট্রিভ যোগ করা, রি-র্যাঙ্কিং করা, বা লং-কন্টেক্সট মডেল চালানো) সেসব বাজেটে কাটায়। ট্রেড-অফটি বিশেষভাবে কঠিন কারণ ব্যবহারকারীরা রেসপন্সিভ আনসার আশা করে, এবং এন্টারপ্রাইজ ইন্টিগ্রেশন কঠোর লেটেন্সি বাজেটের সাথে আসে। তবে, Cornell এবং NVIDIA-এর সাম্প্রতিক কাজ দেখিয়েছে যে, RAG উল্লেখযোগ্য লেটেন্সি ওভারহেড সৃষ্টি করে। রিট্রিভ খুব ঘন ঘন চালালে একুরেসি বাড়াতে পারে, কিন্তু এন্ড-টু-এন্ড লেটেন্সি প্রায় ৩০ সেকেন্ডে পৌঁছাতে পারে — প্রোডাকশন ব্যবহার জন্য খুব বেশি।
জেনারেশন সাধারণত ডোমিনেট করে, কিন্তু রিট্রিভও গুরুত্বপূর্ণ
RAGPerf-এ বেঞ্চমার্কিং দেখিয়েছে যে টেক্সট-অনলি RAG পাইপলাইনে জেনারেশন প্রায়শই ডোমিন্যান্ট পার্ট। একটি ছোট LLM বেছে নিলে লেটেন্সি দ্রুত কমাতে পারে আন্সার কোয়ালিটি স্যাক্রিফাইস না করেই যদি রিট্রিভ কোয়ালিটি মেইনটেইন করা যায়। মাল্টিমোডাল পাইপলাইন (PDF এবং ইমেজ রিট্রিভ) বড় কম্পিউট ডিমান্ড রাখে আংশিকভাবে রি-র্যাঙ্কিং এবং সংশ্লিষ্ট ক্রস-মোডাল মডেলের কারণে। রিট্রিভ লেটেন্সি বড় হতে পারে যখন ভেক্টর ডাটাবেস ধীর বা কাঙ্কারেন্ট লুকআপ অনুমতি না দেয়। তবে, ফাস্ট লুকআপ থাকলেও, অনেক RAG ওয়ার্কলোডের জন্য রি-র্যাঙ্কিং টোটাল লেটেন্সির অধিকাংশ भाग নিতে পারে।
লেটেন্সি, কস্ট, এবং কন্টেক্সট উইন্ডো
কিছু টিম রিকল বড় করার চেষ্টা করে top_k বাড়িয়ে বা LLM-এর কন্টেক্সটে আরও ডকুমেন্ট ঠাসিয়ে। স্টাডিজ দেখিয়েছে এর উল্টো প্রভাব হয়। আপনি যত বেশি ডকুমেন্ট প্রম্পটে যোগ করবেন, LLM उतন কম সক্ষম হবে সঠিক ইনফরমেশন রিকল করতে। রিট্রিভ রি-র্যাঙ্কিং এটা সমাধান করে অনেক ডকুমেন্ট রিট্রিভ করে, তারপর শুধু সেরা গুলো LLM-এর জন্য সিলেক্ট করে। লং কন্টেক্সট উইন্ডো "lost in the middle" এবং জ্যোতির্বিজ্ঞানিক কম্পিউটেশনাল কস্ট সৃষ্টি করে।
লেটেন্সি অপ্টিমাইজ করা
RAG সিস্টেমে লেটেন্সি সমাধান করতে সমগ্র পাইপলাইনের জয়েন্ট অর্কেস্ট্রেশন দরকার:
| ফোকাস এরিয়া | কী করতে হবে | কেন গুরুত্বপূর্ণ |
|---|---|---|
| রিট্রিভ কোয়ালিটি | ডিফল্ট ফিক্সড উইন্ডোর বদলে ডোমেইন-অয়ার চাঙ্কিং ব্যবহার করুন। ডকুমেন্ট স্ট্রাকচার সংরক্ষণ করুন যেখানে জরুরি। ডেন্স এবং লেক্সিক্যাল রিট্রিভ কম্বাইন করুন। রি-র্যাঙ্কিং যোগ করুন। মেটাডেটা বুদ্ধিমানের সাথে ব্যবহার করুন। | কভারেজ এবং রিলেভেন্সি উন্নত করে, এবং সিস্টেমকে আরও কার্যকর কন্টেক্সট রিট্রিভ করতে সাহায্য করে গ্রাউন্ডেড আনসারের জন্য। |
| লেটেন্সি কন্ট্রোল | প্রতিটি স্টেজ মেজার করুন। অর্থহীন গেইন দেয়া স্টেপগুলো সরান। পাইপলাইন যতটা সম্ভব সিম্পল রাখুন। রিয়েল ইন্টারঅ্যাকশন প্যাটার্নের জন্য বিল্ড করুন। | অনাবশ্যক ওভারহেড কমায় এবং রিয়েল প্রোডাকশন সেটিং-এ সিস্টেমকে রেসপন্সিভ রাখে। |
| ড্রিফট ম্যানেজমেন্ট | এমবেডিং, ইনডেক্স, চাঙ্কিং স্ট্র্যাটেজি, এবং ইনজেশন পলিসি ভার্সন করুন। ডকুমেন্ট পরিবর্তন হলে বা মডেল সওয়াপ হলে রি-ইভ্যালুয়েট করুন। ফ্রেশনেস এক্সপ্লিসিটলি ইঞ্জিনিয়ার করুন। | কন্টেন্ট, মডেল, এবং কোয়েরি প্যাটার্ন সময়ের সাথে ইভল্ভ করলে সাইলেন্ট কোয়ালিটি ডিকে প্রতিরোধ করে। |
| ইভ্যালুয়েশন | রিয়েল কোয়েরি ভিত্তিক গোল্ডেন ডেটাসেট মেইনটেইন করুন। রিট্রিভ মেট্রিক জেনারেশন মেট্রিক থেকে আলাদা করুন। কন্টেক্সট প্রিসিশন, রিকল, গ্রাউন্ডেডনেস, এবং ফेथফুলনেস মেজার করুন। | শুধু ফাইনাল আনসার কোয়ালিটির পরিবর্তে সত্য ব্যর্থতা পয়েন্ট শনাক্ত করতে সাহায্য করে। |
| মনিটরিং এবং ট্রেসিং | ডিপ্লয়মেন্টের আগে ইভ্যালুয়েশন চালান এবং লঞ্চের পর মনিটর করুন। রিট্রিভ এবং জেনারেশন লেয়ার জুড়ে ট্রেসিং যোগ করুন। | রিগ্রেশন দৃশ্যমান করে এবং টিমদের প্রোডাকশনে ব্যর্থতা আরও সঠিকভাবে ডায়াগনোস করতে সাহায্য করে। |
| অ্যাবস্টেনশন বিহেভিয়ার | সিস্টেমকে বলতে দিন যখন ইভিডেন্স অনুপস্থিত, পুরনো, বা বিরোধाभাসী। | আত্মবিশ্বাসপূর্ণ কিন্তু দুর্বল উত্তরের বদলে ডিসিপ্লিনড গ্রাউন্ডিং পক্ষে আস্থা বাড়ায়। |
এমবেডিং ড্রিফট এবং নলেজ চেঞ্জের কারণে ব্যর্থতা
এমবেডিং টেক্সটকে হাই-ডাইমেনশনাল ভেক্টর হিসেবে রিপ্রেজেন্ট করে যাতে একই মেনিংগুলো একে অপরের কাছে থাকে। টিমগুলো প্রায়শই তাদের ডকুমেন্টগুলো একটি ভিন্ন এমবেডিং মডেল দিয়ে রি-এমবেড করে বা কোয়েরি এনকোডার সওয়াপ করে তাদের ইনডেক্স সঠিকভাবে ভার্সনিং না করেই বা রিলেভেন্সি চেঞ্জ বেঞ্চмар্ক না করেই। নতুন মডেল অবজেক্টিভলি.Strong হতে পারে, কিন্তু এটি অনপ্রত্যাশিত উপায়ে নেইবরহुड স্ট্রাকচার পরিবর্তন করতে পারে যা র্যাঙ্কিং, রিকল, বা এমনকি ডোমেইন-স্পেসিফিক ল্যাঙ্গুয়েজকে প্রভাবিত করে। একটি মডেল যেটি জেনারেলাইজড বেঞ্চмар্কে এক্সেল করে সেটি আপনার রিয়েল-ওয়ার্ল্ড এন্টারপ্রাইজ লিংগোর সাথে ভয়ঙ্কর পারফর্ম করতে পারে।
ড্রিফটের তিনটি কারণ
- মডেল ড্রিফট। এমবেডিং মডেল ক্রমাগত আপডেট হয়। যখন আপনি একটি এমবেডিং মডেল ভার্সন দিয়ে ডকুমেন্ট ইনডেক্স করেন, আপনি অন্য মডেলের এমবেডিং দিয়ে সেগুলো সার্চ করতে পারবেন না। এমবেডিং মডেল সওয়াপ করলে কোরপাস রি-ইন্ডেক্স না করলে আপনার রিট্রিভ প্রভাবিত হবে।
- কোরপাস ড্রিফট। যখন আপনি নতুন ডকুমেন্ট ইনডেক্সে যোগ করেন, বিশেষ করে নতুন টাইপের ডকুমেন্ট, ভেক্টর স্পেস পরিবর্তন হয়। ডেন্স ভেক্টরের নতুন ক্লাস্টার প্রদির্ভূত হয়। সে ডেন্স ক্লাস্টারগুলো কোয়েরিকে তোলা শুরু করে যেগুলো অন্য ডকুমেন্টের সাথে ম্যাচ হওয়া উচিত। ইউজার-জেনারেটেড বা নויזি কন্টেন্ট যোগ করলে রিট্রিভ কোয়ালিটি সময়ের সাথে ডিগ্রেড হয়, এমনকি আপনি এমবেডিং মডেল পরিবর্তন না করলেও।
- কোয়েরি ড্রিফট। ব্যবহারকারীদের ভোকাবুলারি সময়ের সাথে বড়ে এবং শিফ্ট করে। নতুন টার্ম ব্যবহরে আসে ("remote work," "stablecoin," "prompt engineering") এবং পুরনো টার্মিনোলজি ফেডে যায়। প্রি-এক্সিস্টিং এমবেডিং সেই শব্দগুলোর সাথে ম্যাচ করতে পারে না যেগুলো তাদের ট্রেনিংয়ের সময় অস্তিত্বে নেই। যদি একটি কোম্পানি তার প্রোডাক্টের নাম পরিবর্তন করে, নতুন নাম দিয়ে সার্চ ফেইল করবে কারণ এমবেডিং এখনও পুরনো নাম রিফ্লেক্ট করে।
মিন রেসিপ্রোক্যাল র্যাঙ্ক দিয়ে এমবেডিং ড্রিফট ডিটেক্ট করা
নিচে একটি উদাহরণ ডায়াগ্রাম দেওয়া আছে যা দেখাচ্ছে কীভাবে এমবেডিং ড্রিফট ডিটেক্ট করা যায় রিট্রিভ পারফরম্যান্সে পরিবর্তন মনিটর করে একটি সিস্টেম চেঞ্জের আগে এবং পরে, বা সময়ের সাথে। ডায়াগ্রাম প্রথমে একটি বেসলাইন MRR স্কোর ক্যালকুলেট করে যেখানে প্রাসঙ্গিক ডকুমেন্ট র্যাঙ্কিংয়ের টপে থাকে। তারপর এটি একটি কারেন্ট MRR স্কোর ক্যালকুলেট করে যেখানে প্রাসঙ্গিক ডকুমেন্ট র্যাঙ্কিংয়ের আরও নিচে র্যাঙ্ক করা থাকে। সিস্টেম তারপর বেসলাইন MRR এবং কারেন্ট MRR-এর মধ্যে পーよেন্টেজ ড্রপ কম্পিউট করে। যদি MRR ড্রপ একটি প্রিসিলেক্টেড থ্রেশহোল্ডের উপরে হয়, সিস্টেম এমবেডিং ড্রিফটের জন্য এলার্ট উত্থাপন করে এবং এমবেডিং মডেল, ডেটা ডিস্ট্রিবিউশন, এবং ইনডেক্স রিভিউ করার পরামর্শ দেয়। অন্যথায়, যদি ড্রপ থ্রেশহোল্ডের নিচে হয়, তবে সিস্টেম নির্ধারণ করে রিট্রিভ সিস্টেম স্থিতিশীল এবং মনিটরিং চালিয়ে যায়।
এই কারণেই, প্রোডাকশন RAG সিস্টেমকে এক্সপ্লিসিটলি ভার্সনড এবং অবজার্বেবল হতে হবে। এমবেডিংগুলো ভার্সনড হওয়া উচিত। ইনডেক্স বিল্ড ট্রেসেবল হওয়া উচিত। চাঙ্কিং পলিসি ডকুমেন্টেড এবং রিপ্রোডাসিবল হওয়া উচিত। যদি কোয়ালিটি ডিগ্রেড হতে শুরু করে, আপনাকে অবশ্যই এই প্রশ্নগুলোর উত্তর দিতে পারতে হবে: কন এমবেডিং মডেল এই ইনডেক্স প্রোডিউস করেছে? কী চাঙ্কিং রুল এই কন্টেন্ট চাঙ্ক তৈরি করেছে? এই ডকুমেন্ট কখন শেষবার সিস্টেমে রি-ইনজেস্ট করা হয়েছিল? কী রিট্রিভার এবং রি-র্যাঙ্কার এই রিকোয়েস্ট সার্ভ করেছে?
আপনার যদি পাইপলাইনে ভিজিবিলিটি নেই, ড্রিফট র্যান্ডম মনে হবে। সেটি থাকলে, এটি ডায়াগনোসেবল হয়ে যাবে।
ইভ্যালুয়েশন গ্যাপের কারণে ব্যর্থতা: আসল বটলনেক লুকিয়ে রাখে
দুর্বল ইভ্যালুয়েশন হলো টিমরা RAG সিস্টেম প্রোডাকশনে ডিপ্লয় করতে ব্যর্থ হওয়ার চতুর্থ সবচেয়ে সাধারণ কারণ। আমরা প্রবণ শুধু ফাইনাল আনসার ইভ্যালুয়েট করতে। এটা পর্যাপ্ত নয়।
প্রোডাকশন-গ্রেড RAG একটি পাইপলাইন। যেকোনো সংখ্যক লেয়ারে খারাপ ইনপুট খারাপ ফাইনাল আউটপুট সৃষ্টি করতে পারে। রিট্রিভার সঠিক ডকুমেন্ট রিট্রিভ করতে ব্যর্থ হয়েছে। র্যাঙ্কার সেরা ইভিডেন্স খুব নিচে র্যাঙ্ক করেছে। কন্টেক্সট এসেম্বলার টু মাচ নויז ইনক্লুড করেছে। জেনারেটর সবচেয়ে শক্তিশালী প্যাসেজ অনুপস্থিত রেখেছে। উত্তর ব্রড লেভেলে সঠিক হতে পারে তবে রিট্রিভ করা ইভিডেন্সের সাথে সম্পূর্ণ আনফेथফুল হতে পারে। আপনি যদি শুধু ফাইনাল আউটপুট টেক্সট স্কোর করেন, তবে আপনি কমজোর স্টেজগুলো শনাক্ত করতে পারবেন না।
রিট্রিভ মেট্রিক আলাদা ইভ্যালুয়েট করা উচিত
এই কারণেই, RAG ইভ্যালুয়েশনে আলাদা রিট্রিভ মেট্রিক জেনারেশন মেট্রিক থেকে থাকা উচিত। রিট্রিভ মেট্রিকে কন্টেক্সট প্রিসিশন এবং কন্টেক্সট রিকল থাকা উচিত।
- Context Recall: কন্টেক্সট রিকল চেক করে রিট্রিভ করা প্যাসেজগুলো প্রশ্নের উত্তর দেওয়ার জন্য প্রয়োজনীয় ইনফরমেশন ধারণ করে কিনা।
- Context Precision: কন্টেক্সট প্রিসিশন মেজার করে রিট্রিভ করা সেট більшাংশে প্রাসঙ্গিক কিনা নויז দিয়ে পলিউটেড কিনা।
- র্যাঙ্কিং কোয়ালিটি: র্যাঙ্কিং কোয়ালিটিও গুরুত্বপূর্ণ, কারণ র্যাঙ্ক ১-এ একটি প্রাসঙ্গিক প্যাসেজ র্যাঙ্ক ১০-এ একই প্রাসঙ্গিক প্যাসেজের চেয়ে বেশি উপকারী।
জেনারেশন মেট্রিকও ততটাই গুরুত্বপূর্ণ
রিট্রিভ মেজার হওয়ার পর, জেনারেশন লেয়ারকে তার নিজস্ব শর্তে ইভ্যালুয়েট করতে হবে। দুটি মূল মেট্রিক হচ্ছে গ্রাউন্ডেডনেস এবং ফেথফুলনেস।
- Groundedness: গ্রাউন্ডেডনেস জিজ্ঞাসা করে উত্তরটি রিট্রিভ করা কন্টেক্সটে প্রদত্ত ইনফরমেশন রিফ্লেক্ট করে কিনা।
- Faithfulness: ফেথফুলনেস জিজ্ঞাসা করে মডেলটি সেটি সঠিকভাবে রিপ্রেজেন্ট করে কিনা। এই মেট্রিক গুরুত্বপূর্ণ কারণ একটি সিস্টেম প্লজিবল শোনাতে পারে কিন্তু উত্স মেটিরিয়ালকে মিসরিপ্রেজেন্ট করতে পারে।
অবাস্তব টেস্ট ডেটা আসল ব্যর্থতা লুকিয়ে রাখে
অবাস্তব টেস্ট ডেটা আরেকটি বড় ইস্যু। অনেক টিম ক্লিন, সিনথেটিক প্রশ্ন বা ইন্টারন্যাল টিম দ্বারা কিউরেটেড প্রম্পটে ইভ্যালুয়েট করে। এটি মৌলিকভাবে আসল ব্যর্থতার সারফেস লুকিয়ে রাখে। প্রোডাকশনে ইভ্যালুয়েশন কন্ডিশনে অ্যাম্বiguous প্রশ্ন, কন্ট্রাডিক্টরি ডকুমেন্ট, পার্শিয়াল ইউজার ইনপুট, স্টেল কন্টেন্ট, এবং সেস्थিতি যেখানে সঠিক উত্তর হচ্ছে উত্তর না দেওয়া — এগুলো থাকা উচিত। যদি ডেটাসেট রিয়েল ইউজার বিহেভিয়র রিফ্লেক্ট না করে, ইভ্যালুয়েশন একটি কমফোর্ট মেকানিজমে পরিণত হয় ডায়াগনস্টিক টুলের বদলে।
ইভ্যালুয়েশন ডিপ্লয়মেন্টের পরেও চলতে থাকা উচিত
ইভ্যালুয়েশন শুধু প্রথম রান শেষ হওয়ার পর থামা উচিত নয়। প্রোডাকশন RAGs পরিবর্তন হয়। ডকুমেন্ট পরিবর্তন হয়। এমবেডিং সওয়াপ হয়। র্যাঙ্কিং লজিক ইভল্ভ করে। প্রম্পট টেমপ্লেট শিফ্ট করে। আপনার CI/CD এবং প্রোডাকশন ট্রেসিং-এ ইভ্যালুয়েশন অংশ ছাড়া, আপনি রিগ্রেশন অনহ্যাপি ইউজারদের কাছ থেকে জানবেন নিজেদের মনিটরিং থেকে নয়।
কেন প্রোডাকশন RAG ব্যর্থ হয় যখন বেঞ্চмар্ক ভালো দেখে
এখানেই অনেক টিম বিভ্রান্ত হয়। বেঞ্চمار্ক উন্নত হয়, কিন্তু লাইভ সিস্টেম এখনও নিরাশ করছে।
প্রোডাকশন ব্যাফলস সাধারণত ইনসেন্টিভ মিসঅ্যালাইনমেন্টের কারণে হয়। টিমরা রিট্রিভ রিকল অপ্টিমাইজ করার চেষ্টা করে লেটেন্সি বাজেট কন্সিডার না করে বা LLM স্কোর বড় করার চেষ্টা করে রিট্রিভ প্রিসিশন ট্র্যাক না করে। রিট্রিভ ওভার-টিউন্ড হতে পারে জেনারেশন কোয়ালিটির খামিয়াজে, নויז আনার করে। জেনারেশন ওভার-টিউন্ড হতে পারে রিট্রিভ উন্নতির تجاهে। রিট্রিভ এবং জেনারেশন একুরেসির উপযুক্ত অনুপাত অ্যাপ্লিকেশনের ওপর নির্ভর করে। কম্প্লায়েন্স, লিগ্যাল, এবং অন্যান্য হাই-স্টেক্স ইউজ কেসে যতটা সম্ভব ফেথফুলনেস এবং কন্টেক্সট প্রিসিশন দরকার। ক্রিয়েটিভ ইউজ কেসে স্পিডের বিনিময়ে নויז অ্যালাও করা যায়।
প্রোডাকশন একটি সিঙ্গেল মেট্রিক-এ অপ্টিমাইজড নয়। রিট্রিভ কোয়ালিটি, লেটেন্সি, ফ্রেশনেস, গ্রাউন্ডেডনেস, এবং অপারেশনাল সিম্পলিসিটির মধ্যে ট্রেডঅফ আছে। তাই ডেমো সাকসেস इतना মিসলিডিং হতে পারে। ডেমো সেই সিস্টেমকে পুরস্কৃত করে যেগুলো "সঠিক শোনায়"। প্রোডাকশন নির্ভরযোগ্যতাকে পুরস্কৃত করে।
প্রোডাকশন RAG সিস্টেম কীভাবে ফিক্স করবেন
পথ ফরওয়ার্ড হচ্ছে RAG ত্যাগ করা নয়। এটি হচ্ছে এটি একটি ডিসিপ্লিনড রিট্রিভ সিস্টেম হিসেবে চিকিৎসা করা।
| ফোকাস এরিয়া | কী করতে হবে | কেন গুরুত্বপূর্ণ |
|---|---|---|
| রিট্রিভ কোয়ালিটি | ডিফল্ট ফিক্সড উইন্ডোর বদলে ডোমেইন-অয়ার চাঙ্কিং ব্যবহার করুন। ডকুমেন্ট স্ট্রাকচার সংরক্ষণ করুন যেখানে জরুরি। ডেন্স এবং লেক্সিক্যাল রিট্রিভ কম্বাইন করুন। রি-র্যাঙ্কিং যোগ করুন। মেটাডেটা বুদ্ধিমানের সাথে ব্যবহার করুন। | কভারেজ এবং রিলেভেন্সি উন্নত করে, এবং সিস্টেমকে আরও কার্যকর কন্টেক্সট রিট্রিভ করতে সাহায্য করে গ্রাউন্ডেড আনসারের জন্য। |
| লেটেন্সি কন্ট্রোল | প্রতিটি স্টেজ মেজার করুন। অর্থহীন গেইন দেয়া স্টেপগুলো সরান। পাইপলাইন যতটা সম্ভব সিম্পল রাখুন। রিয়েল ইন্টারঅ্যাকশন প্যাটার্নের জন্য বিল্ড করুন। | অনাবশ্যক ওভারহেড কমায় এবং রিয়েল প্রোডাকশন সেটিং-এ সিস্টেমকে রেসপন্সিভ রাখে। |
| ড্রিফট ম্যানেজমেন্ট | এমবেডিং, ইনডেক্স, চাঙ্কিং স্ট্র্যাটেজি, এবং ইনজেশন পলিসি ভার্সন করুন। ডকুমেন্ট পরিবর্তন হলে বা মডেল সওয়াপ হলে রি-ইভ্যালুয়েট করুন। ফ্রেশনেস এক্সপ্লিসিটলি ইঞ্জিনিয়ার করুন। | কন্টেন্ট, মডেল, এবং কোয়েরি প্যাটার্ন সময়ের সাথে ইভল্ভ করলে সাইলেন্ট কোয়ালিটি ডিকে প্রতিরোধ করে। |
| ইভ্যালুয়েশন | রিয়েল কোয়েরি ভিত্তিক গোল্ডেন ডেটাসেট মেইনটেইন করুন। রিট্রিভ মেট্রিক জেনারেশন মেট্রিক থেকে আলাদা করুন। কন্টেক্সট প্রিসিশন, রিকল, গ্রাউন্ডেডনেস, এবং ফেথফুলনেস মেজার করুন। | শুধু ফাইনাল আনসার কোয়ালিটির পরিবর্তে সত্য ব্যর্থতা পয়েন্ট শনাক্ত করতে সাহায্য করে। |
| মনিটরিং এবং ট্রেসিং | ডিপ্লয়মেন্টের আগে ইভ্যালুয়েশন চালান এবং লঞ্চের পর মনিটর করুন। রিট্রিভ এবং জেনারেশন লেয়ার জুড়ে ট্রেসিং যোগ করুন। | রিগ্রেশন দৃশ্যমান করে এবং টিমদের প্রোডাকশনে ব্যর্থতা আরও সঠিকভাবে ডায়াগনোস করতে সাহায্য করে। |
| অ্যাবস্টেনশন বিহেভিয়ার | সিস্টেমকে বলতে দিন যখন ইভিডেন্স অনুপস্থিত, পুরনো, বা বিরোধাভাসী। | আত্মবিশ্বাসপূর্ণ কিন্তু দুর্বল উত্তরের বদলে ডিসিপ্লিনড গ্রাউন্ডিং পক্ষে আস্থা বাড়ায়। |
FAQ সেকশন
RAG-এ রিট্রিভ কোয়ালিটি কীভাবে মেজার করবেন?
আমরা রিট্রিভ মেট্রিক ব্যবহার করি যেমন কন্টেক্সট প্রিসিশন, কন্টেক্সট রিকল, এবং র্যাঙ্কিং কোয়ালিটি, এবং চেক করি কি রিট্রিভ করা ইভিডেন্স আসলে আনসার জেনারেশন সাপোর্ট করে।
RAG সিস্টেম প্রোডাকশনে কেন ব্যর্থ হয়?
প্রোডাকশন ব্যাফলস সবচেয়ে বেশি কেজে রিট্রিভ কোয়ালিটিতে ডিগ্রেডেশন, লেটেন্সি ক্রিপ, এমবেডিং/কোরপাস ড্রিফট, এবং খারাপ ইভ্যালুয়েশন প্র্যাক্টিস যা সমস্যাগুলো কোথায় শুরু হয় সেটি লুকিয়ে রাখে।
RAG পাইপলাইনে এমবেডিং ড্রিফট কী?
এমবেডিং ড্রিফট ঘটে যখন এমবেডিং মডেল, কোরপাস, বা লাইভ কোয়েরি বিহেভিয়ারের আপডেট ধীরে ধীরে রিট্রিভ বিহেভিয়ার পরিবর্তন করে (রিলেভেন্সি ডিগ্রেড করে), কোনো স্পষ্টভাবে ব্রোকেন সিস্টেম বিহেভিয়ার ছাড়া।
কেন RAG লেটেন্সি স্কেলে বড়ে?
লেটেন্সি বড়ে কারণ প্রোডাকশন সিস্টেমস প্রায়শই কোয়েরি রি-রাইটিং, মাল্টিপল রিট্রিভ পাস, রি-র্যাঙ্কিং, এক্সট্রা মডেল কল, এবং বড় কোরপাস যোগ করে, যা সব প্রসেসিং টাইম এবং অপারেশনাল কমপ্লেক্সিটি বাড়ায়।
RAG-এ গ্রাউন্ডেডনেস এবং ফেথফুলনেস কীভাবে ইভ্যালুয়েট করবেন?
আপনি জেনারেটেড আনসারকে রিট্রিভ করা ইভিডেন্সের সাথে কমপেয়ার করেন, চেক করেন যে দাবিগুলো সোর্স দ্বারা সাপোর্টেড কিনা এবং ওয়ার্ডিং সেগুলোকে সঠিকভাবে রিফ্লেক্ট করে কিনা আবিষ্কার বা বিকৃতির बिना।
উপসংহার
প্রোডাকশনে অধিকাংশ RAG সিস্টেমের ব্যাফল একক পয়েন্ট অফ ফেইলারের ফলাফল নয়। বরং, দায়িত্বশীল ইঞ্জিনিয়াররা লক্ষ্য করবেন অধিকাংশ ব্রেকডাউন একটি সংযুক্ত চেইনের একটি দুর্বল লিংক থেকে শুরু হয়। রিট্রিভ কোয়ালিটি প্রায়শই প্রথমে ব্যর্থ হয়। ইঞ্জিনিয়াররা "সমাধান" করেন আরও রিট্রিভ, আরও কন্টেক্সট, এবং আরও অর্কেস্ট্রেশন লেয়ার লিভারেজ করে। এতে লেটেন্সি বাড়ে। যেহেতু এমবেডিং, কোরপাস, এবং ইউজার বিহেভিয়ার সব সময়ের সাথে ড্রিফট করে, দুর্বল ইভ্যালুয়েশন মেট্রিক সিস্টেম কোথায় আসলে ব্যর্থ হচ্ছে সেটি লুকিয়ে রাখে। ব্যবহারকারীরা লক্ষ্য করুন এবং আস্থা হারান ম্যানেজাররা সমস্যা বুঝতে পারার আগে। তখন পর্যন্ত, প্যাটার্নের ব্রেকডাউন রহস্যময় লাগে। তবে, সমস্যাগুলো শুরু থেকেই স্পষ্ট ছিল।
RAG স্কেলে ব্যাফল করে না কারণ প্যাটার্নটি ভুল, বরং কারণ প্রোডাকশন RAG সিস্টেম বানাতে হয় শক্তিশালী রিট্রিভ ইঞ্জিনিয়ারিং, লেটেন্সি ম্যানেজমেন্ট, ড্রিফট মিটিগেশন, এবং ক্রমাগত ইভ্যালুয়েশন। তারা উন্নত র্যাঙ্কিং, উন্নত চাঙ্কিং, बेटার অবজার্বেবিলিটি, এবং গ্রাউন্ডেডনেস এবং ফেথফুলনেস মেজারমেন্ট দাবি করে। সবচেয়ে গুরুত্বপূর্ণ, টিমদের RAG-কে একটি লিভিং সিস্টেম হিসেবে আপ্রোচ করতে হবে একটি সেট-ইট-এন্ড-ফরগেট-ইট ডেমো আর্কিটেকচারের বদলে।
রেফারেন্স
- RAG System in Production: Why It Fails and How to Fix It
- Best Chunking Strategies for RAG (and LLMs) in 2026
- What is RAG evaluation? Measuring retrieval quality and answer groundedness
- Towards Understanding Systems Trade-offs in Retrieval-Augmented Generation Model Inference
- RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems
- Rerankers and Two-Stage Retrieval
- From RAG to Context - A 2025 year-end review of RAG
এই কাজটি Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License-এর অধীনে লাইসেন্সপ্রাপ্ত।
