ব্যবসায়িক স্কেল অনুযায়ী ডেডিকেটেড এবং সার্ভারলেস AI ইনফারেন্সের মধ্যে নির্বাচন

অনেক সময় ডেভেলপাররা সঠিক AI অবকাঠামো নির্বাচনে চ্যালেঞ্জের সম্মুখীন হন, এবং প্রধান আলোচনা এই সাধারণ প্রশ্নের চারপাশে ঘুরে: AI সিস্টেম তৈরি করার জন্য সঠিক পছন্দ কী হবে? লচিলতার জন্য সার্ভারলেস, নিয়ন্ত্রণের জন্য ডেডিকেটেড - সুবিধা বনাম পারফরম্যান্স।

বাস্তবে, ইনফারেন্স ইনফ্রাস্ট্রাকচার এমন কিছু নয় যা আপনি একবার "সঠিকভাবে নির্বাচন" করেন। এটি এমন কিছু যা সময়ের সাথে সাথে শান্তভাবে ভুল হয়ে যায় যখন আপনার প্রোডাক্ট, ট্রাফিক এবং প্রত্যাশা বিকশিত হয়।

একটি AI-চালিত মিটিং অ্যাসিস্ট্যান্টের উদাহরণ লেন। এর sơ tôt সংস্করণে, এটি দিনে কয়েকটি মিটিং প্রক্রিয়া করে, সেগুলোকে একে একে ট্রান্সক্রাইব এবং সারসংক্ষেপ করে। ব্যবহার অনিয়মিত, এবং অগ্রতা হলো শুধু ফিচারটি কাজ করানো। এখানে সার্ভারলেস ইনফারেন্স একটি প্রাকৃতিক উপায়।

যখন প্রোডাক্টটি জনপ্রিয়তা লাভ করে, এটি দৈনন্দিন ওয়ার্কফ্লোর অংশ হয়ে যায়। ٹিম‌ها সারা দিন মিটিং প্রক্রিয়া করার জন্য এটিকে অবলম্বন করে, এবং টার্নঅরাউন্ড টাইম নিয়ে প্রত্যাশা কঠোর হতে শুরু করে। মাঝে মাঝে লেটেন্সি স্পাইক গুরুত্বপূর্ণ হয়ে ওঠে, যদিও সামগ্রিক পারফরম্যান্স গ্রহণযোগ্য থাকে।

শেষে, সিস্টেমটি একে অপর অবস্থানে পৌঁছায় যেখানে এটি পূর্বাভাসযোগ্য দৈনন্দিন প্যাটার্নের সাথে উচ্চ পরিমাণের মিটিং হ্যান্ডেল করে। এই পর্যায়ে, প্রয়োজনীয়তা সাদৃশ্য এবং খরচ দক্ষতার দিকে स्थानান্তরিত হয়। ডেডিকেটেড ইনফারেন্স যৌক্তিক ভিত্তি হয়ে ওঠে, इसलिये না যে পূর্বের পদ্ধতি ভুল ছিল, বরং সিস্টেমটি সেটি ছাড়িয়ে দিয়েছে।

দিলচস্পভাবে, সার্ভারলেস অদৃশ্য হয় না। এটি প্রায়ই এজ কেস, অপ্রত্যাশিত স্পাইক হ্যান্ডেল করা, পরীক্ষামূলক ফিচার চালানো, বা কম-ফ্রিকোয়েন্সি টাস্ক সাপোর্ট করার জন্য উপযোগী থাকে। এটি স্বাভাবিকভাবে দুটি পদ্ধতির মিশ্রণ হয়ে যায়, যা একটি নির্দিষ্ট পরিকল্পনা নয়, বরং সিস্টেমের দরকার দ্বারা চালিত।

এই আর্টিকেলে আমরা বুঝতে চেষ্টা করব কিভাবে সার্ভারলেস এবং ডেডিকেটেড ইনফারেন্সের মধ্যে পছন্দ সিস্টেম বড় হওয়ার সাথে সাথে বিবর্তিত হয়। আমরা মোডাল এবং টুগেদার.এআই-এর মতো দুটি জনপ্রিয় প্ল্যাটফর্মকে উদাহরণ হিসেবে অন্বেষণ করব যাতে বুঝতে পারি কখন সার্ভারলেস ইনফারেন্স ভাঙতে শুরু করে, কীভাবে ওয়ার্কলোড প্যাটার্ন সঠিক পছন্দকে আকার দেয়, এবং কেন সিস্টেম স্কেল হওয়ার সাথে সাথে ডেডিকেটেড ইনফ্রাস্ট্রাকচারের দিকে যাওয়া অবিচ্ছেদ্য হয়ে যায়।

প্রাথমিক পর্যায়

AI প্রোডাক্ট তৈরির sơ tôt দিনগুলিতে, সবচেয়ে বড় বাধা পারফরম্যান্স নয়, বিশেষত লেটেন্সি কনসিস্টেন্সি (প্রতিটি রিকোয়েস্ট কত দ্রুত প্রতিক্রিয়া জানায়) এবং থ্রুপুট (একসাথে কতগুলো রিকোয়েস্ট হ্যান্ডেল করা যায়), বরং আপনি কত দ্রুত শিপ, ইটারেট এবং রিয়েল ব্যবহার থেকে শিখতে পারেন।

প্রাথমিক দিনগুলিতে, ওয়ার্কলোড এখনো বোঝা যায়নি, ট্রাফিক অনিয়মিত, মডেলগুলো পরিবর্তনশীল, এবং প্রোডাক্টটি নিজে এখনো আকার নিচ্ছে। এখানে সার্ভারলেস প্ল্যাটফর্মগুলো ডেভেলপারের দরকার জন্য প্রায় পরিপূর্ণ মনে হয়।

এগুলো সেই সিদ্ধান্তগুলো দূর করে যা অন্যথায় আপকে ধীর করে দিত। আপনাকে GPU প্রোভিশনিং, স্কেলিং পলিসি, বা ক্যাপাসিটি প্ল্যানিং নিয়ে চিন্তা করতে হয় না। আপনি কোড লিখেন, ডিপ্লয় করেন, এবং সিস্টেমটি যেকোনো ডিমান্ডের সাথে খাপ খায়। sơ tôt পর্যায়ের অ্যাপ্লিকেশন─যেমন প্রোটোটাইপ চ্যাটবট, ডকুমেন্ট সামারাইজার, বা ইন্টারন্যাল AI টুল─এর জন্য এটি শুধু সুবিধাজনক নয়; এটি শিপিং এবং না শিপিং-এর পার্থক্য।

এই পর্যায়ে, অদক্ষতা মানে রাখে না কারণ ব্যবহারই অনিশ্চিত। আপনি ইনফ্রাস্ট্রাকচার দক্ষতার জন্য নয়, ইটারেশন গতির জন্য অপ্টিমাইজ করছেন।

প্রথম পরিবর্তন: লেটেন্সি একটি প্রোডাক্ট সমস্যা হয়ে ওঠে

আপনার ইনফ্রাস্ট্রাকচার পছন্দ ভুল দিকে যাচ্ছে এমন প্রথম সংকেট বিলিং ড্যাশবোর্ডে দেখা যায় না। এটি ব্যবহারকারীর অভিজ্ঞতায় দেখা যায়। ব্যবহার বৃদ্ধি পাওয়ার সাথে সাথে, এমনকি সামান্য হলে, লেটেন্সি একটি তাত্ত্বিক মেট্রিক হতে বন্ধ করে ব্যবহারকারীর কাছে দৃশ্যমান হতে শুরু করে।

সার্ভারলেস সিস্টেম ইলাস্টিসিটি বাস করে তৈরি, যা প্রায়ই ভেরিয়েবিলিটি নিয়ে আসে। যদি এনভায়রনমেন্ট ইতিমধ্যে ওয়ার্ম থাকে তবে একটি রিকোয়েস্ট তাৎক্ষণিক ফিরে আসতে পারে, অথবা যদি কোল্ড স্টার্ট বা মডেল লোড ট্রিগার হয় তবে দীর্ঘ সময় নিতে পারে। একা থাকলে এটি গ্রহণযোগ্য। কিন্তু একটি ইউজার-ফেসিং সিস্টেমে, অগতানুগতিকতা গড় পারফরম্যান্সের চেয়ে অনেক বেশি লক্ষ্য করা যায়।

একটি কাস্টমার সাপোর্ট ওয়ার্কফ্লোতে এমবেডেড AI অ্যাসিস্ট্যান্ট, বা একটি IDE-র ভিতরে কোড জেনারেশন ফিচার বিবেচনা করুন। উভয় ক্ষেত্রে ব্যবহারকারী প্রতিক্রিয়াশীলতা অবিলম্বে এবং পূর্বাভাসযোগ্য অনুভব করতে চায়। কিছু স্লো রেসপন্স ধারণায় গড়ে না, বরং তা প্রমিনেন্ট হয়ে ওঠে। যা একসময় একটি ইনফ্রাস্ট্রাকচার ডিটেল ছিল, সেটি এখন একটি প্রোডাক্ট ত্রুটি।

দ্বিতীয় পরিবর্তন: যখন খরচ যোগ হওয়া শুরু করে

যখন আপনার সিস্টেম বড় হয়, ব্যবহার আরও নিয়মিত হয়। যা কখনো কখনোই রিকোয়েস্ট ছিল সেটি স্থায়ী ট্রাফিকে পরিণত হয়, এবং যেসব ফিচার এক وقت পরীক্ষা ছিল সেগুলো প্রতিদিনের ব্যবহারে আসে। এই সময় সার্ভারলেস প্রাইসিং ভিন্ন মনে হতে শুরু করে।

সার্ভারলেস স वहाँ ভালো কাজ করে যেখানে ব্যবহার অনির্দিষ্ট, কারণ আপনি শুধু তখন টাকা দেন যখন কিছু রান করে। কিন্তু একবার আপনার সিস্টেম সর্বদা সক্রিয় হয়ে যাওয়া, নিরবচ্ছিন্ন রিকোয়েস্ট হ্যান্ডেল করা বা ব্যাকগ্রাউন্ড জব রান করায়, আপনি একই কাজের জন্য বারবার টাকা দেন। সময়ের সাথে সাথে, সেই সুবিধাটি ব্যয়বহুল হতে শুরু করে।

এই বিন্দুতে, ডেডিকেটেড ইনফ্রাস্ট্রাকচার─ফিক্সড GPU-তে মডেল চালানো─আরও অর্থবোধক মনে হয়। আপনাকে খরচের উপর আরও নিয়ন্ত্রণ দরকার, যা পারফরম্যান্সকে আরও স্থিতিশীল করে, যতক্ষণ না আপনি রিসোর্স দক্ষতার সাথে ব্যবহার করেন।

এখানে কিছুই ভুল হচ্ছে না। এটা শুধু ইঙ্গিত দেয় আপনার সিস্টেম এমন একটি পয়েন্টে বড় হয়েছে যেখানে আগের সেটআপ আর সবচেয়ে খরচ-দক্ষ পছন্দ নয়।

ওয়ার্কলোড আকার, প্ল্যাটফর্ম পছন্দ নয়, ফলাফল চালায়

সময়ের সাথে সাথে যা স্পষ্ট হয়ে যায় সেটি হলো, সিদ্ধান্ত আসলে দুটি ধরণের প্ল্যাটফর্মের মধ্যে নির্বাচন করার বিষয় নয়। এটি আপনার ওয়ার্কলোড কীভাবে আচরণ করে এবং সেই আচরণ কীভাবে পরিবর্তন হয় সেটি বোঝার বিষয়।

অনেক টিম যা ভুল করে সেটি হলো তারা অনুমান করে তাদের বর্তমান ওয়ার্কলোড আकार চিরস্থায়ী। বাস্তবে, অধিকাংশ সিস্টেম একাধিক রাজ্যের মধ্য দিয়ে যেতে পারে। একটি অ্যাপ্লিকেশন অত্যন্ত স্পাইকি ব্যবহার দিয়ে শুরু হতে পারে, অর্ধ-পূর্বাভাসযোগ্য দৈনন্দিন চক্রে রূপান্তরিত হতে পারে, এবং শেষে স্থির, হাই-থ্রুপুট প্যাটার্নে স্থির হতে পারে। এই প্রতিটি পর্যায় একটি ভিন্ন পদ্ধতিকে পক্ষপাত করে।

মধ্যবর্তী পর্যায়

সবচেয়ে কঠিন পর্যায় শুরু বা শেষ নয়, বরং তাদের মাঝপথের ট্রানজিশন। এখানেই সিস্টেমগুলো প্রায়ই "অফ" মনে করে, এমনকি যদি কিছুই ভাঙা না থাকে। লেটেন্সি ইস্যু মাঝে মাঝে দেখা যায় কিন্তু সবসময় না, এবং খরচ বাড়তে শুরু করে, কিন্তু इतना নয় যে পূর্ণাঙ্গ আর্কিটেকচারাল শিফ্ট জাস্টিফাই করা যায়। ডেভেলপাররা ওয়ার্কঅরাউন্ড যোগ करना শুরু করে, যেমন রেসপন্স ক্যাশ করা, এনভায়রনমেন্ট প্রি-ওয়ার্ম করা, বা কনকারেন্সি টুইক করে জিনিসগুলো চিকনা করার চেষ্টা। এই পরিবর্তনগুলো সাময়িকভাবে সাহায্য করে, কিন্তু এগুলো ইঙ্গিত দেয় যে সিস্টেমটি তার মূল ডিজাইনের সীমা পেরিয়ে ধাক্কা দেওয়া হচ্ছে।

আরেকবার বড় হচ্ছে AI কাস্টমার সাপোর্ট অ্যাসিস্ট্যান্টের উদাহরণ নিই। sơ tôt পর্যায়ে, এটি কম সংখ্যক কোয়েরি হ্যান্ডেল করতে পারে, কিন্তু Адаপশন বাড়ার সাথে সাথে, সিস্টেমটি পিক আওয়ার্সে সয়েকগুলো রিকোয়েস্ট হ্যান্ডেল করা শুরু করে। অধিকাংশ রেসপন্স এখনও দ্রুত, কিন্তু কিছু কোল্ড স্টার্ট বা স্কেলিং বিলম্বের কারণে 띄 띄 লেটেন্সি স্পাইক দেখা দেয়। টিম পুনরাবৃত্ত কোয়েরির জন্য ক্যাশিং যোগ করে এবং লেটেন্সি স্পাইক কমাতে প্রি-ওয়ার্মিং চেষ্টা করে। একই সাথে, তাদের মাসিক খরচ বাড়ে কারণ সিস্টেমটি এখন আরও নিয়মিত রান করছে। কিন্তু ট্রাফিক এখনও যথেষ্ট স্থিতিশীল নয় যাতে ডেডিকেটেড GPU-তে যাওয়া সম্পূর্ণরূপে জাস্টিফাই করা যায়, যা অফ-আওয়ার্সে নিষ্ক্রিয় থাকতে পারে। এটি একটি উঁচু মাঝপথ সৃষ্টি করে যেখানে সিস্টেম টেকনিক্যালি কাজ করে, কিন্তু কনস্ট্যান্ট টিউনিং প্রয়োজন, এবং ন तो সার্ভারলেস নই ডেডিকেটেড ইনফ্রাস্ট্রাকচার পাॅরফেক্ট ফিট মনে হয়।

বড় স্কেলে

কোনো এক পয়েন্টে, আপনার সিস্টেম আর অনির্দিষ্ট থাকে না। আপনি মোটামুটি জানেন কত রিকোয়েস্ট আসছে। আপনি জানেন বiziere আওয়ার্স কখন। অনুমানের কাজ শেষ।
এখন, আপনি একটি এমন সিস্টেমে প্রতি রিকোয়েস্টের জন্য টাকা দিচ্ছেন যা কখনো বন্ধ হয় না। কোল্ড স্টার্ট যেগুলো একসময় মাঝে মাঝে হত, এখন অগ্রাহ্য মনে হয়। ব্যবহারকারীরা দ্রুত, কনসিস্টেন্ট রেসপন্স এক্সপেক্ট করতে শিখেছে, এবং যেকোনো ভেরিয়েন্স লক্ষ্য করা হয়। যে ইনফ্রাস্ট্রাকচার আপনাকে শুরুতে দ্রুত চলে সাহায্য করেছিল, সেটি এখন আপকে ধীর করছে। ডেডিকেটেড ইনফারেন্স এটি সাফল্যের সাথে সমাধান করে। আপনি একটি GPU রিজার্ভ করেন, আপনার মডেল লোডেড থাকে, এবং প্রতিটি রিকোয়েস্ট একই অভিজ্ঞতা পায়। কোনো শেয়ারিং নেই, কোনো স্পিন-আপ ডিলে নেই, কোনো সারপ্রাইজ নেই।
অর্থনীতিও পরিবর্তন হয়। যখন আপনার সিস্টেম সর্বদা সক্রিয়, তখন রিজার্ভড কম্পিউটের জন্য টাকা দেয়া পে-পার-ইউজের চেয়ে সস্তা। টুগেদার.এআই-এর ডেডিকেটেড এন্ডপয়েন্ট, উদাহরণস্বরূপ, H100-এর জন্য প্রায় $৩.৯৯/ঘন্টা থেকে শুরু হয়। স্থিতিশীল ট্রাফিকে, এটা প্রায়শই সার্ভারলেসের চেয়ে কম খরচে, তার উপরে ভালো পারফরম্যান্সের সাথে। আপনি যা পাওয়া যায় সেটি শুধু কম খরচ বা দ্রুত রেসপন্স নয়। এটা স্থিতিশীলতা। আপনি ইনফ্রাস্ট্রাকচার টিউন করা বন্ধ করে সেটিকে বিশ্বাস করা শুরু করেন। তখন আপনি পূর্ণ মনোযোগ দিয়ে প্রোডাক্ট বিল্ড করতে পারেন, নিচের লেয়ারটি ম্যানেজ না করে। সার্ভারলেস সম্পূর্ণরূপে গিয়ে না। এখনও এজ কেস হ্যান্ডেল করে: অপ্রত্যাশিত স্পাইক, পরীক্ষামূলক ফিচার, এবং কম-ফ্রিকোয়েন্সি জব। কিন্তু এখন এটি আপনার কোর ওয়ার্কলোড বহন করছে না। ডেডিকেটেড ইনফ্রাস্ট্রাকচার এখন সেটি করছে।

ডেভেলপাররা সার্ভারলেস ইনফারেন্স প্ল্যাটফর্মকে কীভাবে অভিজ্ঞ করে

এই সিস্টেমগুলো কীভাবে আচরণ করে সেটি বুঝতে একটি ভালো উপায় হলো দেখতে যে ডেভেলপাররা দুটি সাধারণ প্ল্যাটফর্মের সাথে কীভাবে ইন্টারঅ্যাক্ট করে: মোডাল এবং টুগেদার.এআই। উভয়ই একই ধারণা থেকে শুরু করে যে ইনফ্রাস্ট্রাকচারকে এবস্ট্রাক্ট করো, কিন্তু वह এবস্ট্রাকশন প্র্যাকটিসে কীভাবে দেখা যায় (বিশেষত প্রাইসিং এবং স্কেলিং-এ) সেটি বোঝায় কোথায় জিনিসগুলো ভালো কাজ করে এবং কোথায় ট্রেড-অফ শুরু হয়।

মোডাল

মোডাল একটি সার্ভারলেস মডেলের চারপাশে ডিজাইন করা হয়েছে যেখানে আপনি স্ট্রিক্টলি কম্পিউট টাইমের জন্য টাকা দেন। GPU ব্যবহার, উদাহরণস্বরূপ, প্রতি সেকেন্ড বিল করা হয়, ছোট GPU (যেমন L4) এর জন্য মোটামুটি $০.০০০২/সেকেন্ড থেকে শুরু করে হাই-এন্ড GPU যেমন H100-এর জন্য প্রায় $০.০০১১/সেকেন্ড পর্যন্ত, যা হার্ডওয়্যারের উপর নির্ভর করে মোটামুটি $০.৮–$৪/ঘন্টায় অনুবাদ হয়। এছাড়া প্রায় $৩০ মাসিক ক্রেডিটের সাথে একটি ফ্রি টিয়ার রয়েছে, যা আপ-ফ্রন্ট খরচ ছাড়াই শুরু করা সহজ করে দেয়। প্র্যাকটিসে, এটি বার্স্টি ওয়ার্কলোডের জন্য অত্যন্ত ভালো কাজ করে, উদাহরণস্বরূপ, একটি ইমেজ জেনারেশন API যা শুধু তখন ট্রাফিক পায় যখন ব্যবহারকারী ট্রিগার করে, বা একটি ব্যাকগ্রাউন্ড জব যা দিনে কয়েকবার রান করে। আপনি আইডল GPU-এর জন্য টাকা দেন না, এবং স্কেলিং অটোমেটিকভাবে হয়। কিন্তু ব্যবহার নিরবচ্ছিন্ন হলে, মনে করুন আপনি একটি রিয়েল-টাইম অবজেক্ট ডিটেকশন মডেল চালাচ্ছেন যা সারা দিন ছবি প্রক্রিয়া করে, প্রাইসিং মডেল তার ট্রেড-অফগুলো উজাগর করা শুরু করে। আপনি আর "শুধু ব্যবহার করার সময় টাকা দাও" মডেল থেকে লাভ পাচ্ছেন না, কারণ সিস্টেমটি সর্বদা ব্যবহার হচ্ছে। বরং, আপনি কার্যকরভাবে একই GPU-কে বারবার ছোট ছোট খণ্ডে ভাড়া নিচ্ছেন, যা প্রায়শই সরাসরি একটি GPU চল রাখার চেয়ে বেশি কমুলেটিভ খরচে। একই সাথে, কোল্ড স্টার্ট এবং কন্টেইনার রিইউজের মতো পারফরম্যান্স বৈশিষ্ট্যগুলো ভেরিয়েবিলিটি বносиে যা প্রোডাকশন এনভায়রনমেন্টে উপেক্ষা করা কঠিন।

টুগেদার.এআই

টুগেদার.এআই একটি সার্ভারলেস API-তে শুরু হয়, কিন্তু বড় হচ্ছে সিস্টেমের জন্য যা এটিকে আকর্ষণীয় করে তোলো সেটি হলো এটি আপকেও বাধ্য করে না প্ল্যাটফর্ম সোইচ করার জন্য আপনার দরকার পরিবর্তন হলে। আপনি বেসিক API ব্যবহার থেকে ডেডিকেটেড GPU এন্ডপয়েন্টে যেতে পারেন আপনার কোড বদলে না।

এন্ট্রি লেভেলে, আপনি প্রতি টোকেন টাকা দেন। প্রাইসিং মডেল অনুযায়ী পরিবর্তিত হয়, মোটামুটি $০.১০ থেকে $৩ প্রতি মিলিয়ন টোকেন, যা হালকা বা অনির্দিষ্ট ট্রাফিকের জন্য ভালো কাজ করে। আপনি অটো-স্কেলিং পান এবং কোনো ইনফ্রাস্ট্রাকচার ম্যানেজ করতে হয় না। অধিকাংশ ইউজ কেসের জন্য এটি একটি যুক্তিসঙ্গত শুরুর বিন্দু।

যখন ট্রাফিক বাড়ে এবং লেটেন্সি গুরুত্বপূর্ণ হতে শুরু করে, টুগেদার.এআই আপনাকে ডেডিকেটেড এন্ডপয়েন্টে যাওয়া দেয়। আপনি আপনার হার্ডওয়্যার বেছে নেন: H100 প্রায় $৩.৯৯/ঘন্টা বা H200 প্রায় $৫.৪৯/ঘন্টা, এবং সেই GPU আপনার। কোনো শেয়ার্ড কম্পিউট নেই, অন্য ওয়ার্কলোড থেকে কোনো ইন্টারফিয়ারেন্স নেই। মডেল লোডেড থাকে, এবং আপনার লেটেন্সি প্রোফাইল কনসিস্টেন্ট হয়ে যায়।

ট্রেড-অফ वही যেটি যেকোনো ডেডিকেটেড সেটআপে মুখোমুখি হবেন। যদি আপনার ট্রাফিক অফ-আওয়ার্সে কমে যায়, সেই GPU টি তবুও চলছে। আপনি ক্যাপাসিটির জন্য টাকা দিচ্ছেন ব্যবহার করুন ন করুন। যেহেতু আপনার ওয়ার্কলোড স্থিতিশীল, তাই এটা ঠিক আছে।

স্কেল হচ্ছে টিমের জন্য, টুগেদার.এআই-এর প্র্যাকটিক্যাল সুবিধা হলো মাইগ্রেশন পাথ ইন্টারন্যাল। ডেডিকেটেড পারফরম্যান্স পাওয়ার জন্য আপনাকে আপনার ইন্টিগ্রেশন রিবিল্ড করতে হয় না। আপনি এন্ডপয়েন্ট কনফিগারেশন পরিবর্তন করেন। এটি একটি বাস্তব বাধা দূর করে সঠিক সময়ে শিফ্ট করার পথে, বিলম্ব করার বদলে কারণ সোইচ করা খুব ডিসরাপ্টিভ মনে হয়।

উদাহরণস্বরূপ, একটি মিড-সাইজড মডেল চালাতে প্রায় $০.১০–$০.৬০ প্রতি মিলিয়ন ইনপুট টোকেন খরচ হতে পারে, আউটপুট টোকেনের জন্য মডেলের উপর নির্ভর করে কখনো কখনো বেশি। এটি চ্যাটবট বা টেক্সট জেনারেশন API-এর মতো ইউজ কেসের জন্য אינ্টিউইটিভ করে তোলে, যেখানে খরচ ব্যবহার অনুযায়ী স্কেল হয়। উদাহরণস্বরূপ, দিনে কয়েক মিলিয়ন টোকেন জেনারেট করা একটি কাস্টমার সাপোর্ট বটের খরচ ভলিউমের উপর নির্ভর করে মাসে দশ থেকে শত ডলার হতে পারে। একই সাথে, টুগেদার.এআই ডেডিকেটেড GPU এন্ডপয়েন্ট অফার করে H100-এর জন্য প্রায় $৩.৯৯/ঘন্টা থেকে শুরু করে যখন ওয়ার্কলোড স্থিতিশীল হয়। এটি একটি সাধারণ প্যাটার্ন প্রতিফলিত করে: ডেভেলপাররা সিম্পল API-ভিত্তিক ব্যবহার থেকে শুরু করেন, কিন্তু যেহেতু ট্রাফিক স্থিতিশীল হয় এবং লেটেন্সি এক্সপেকটেশন বাড়ে, তারা প্রায়শই আরও প্রিডিক্টেবল পারফরম্যান্স এবং খরচের জন্য ডেডিকেটেড সেটআপের দিকে সরকുന്നു।

গুরুত্বপূর্ণ পরিবর্তন প্ল্যাটফর্ম নয়—এটি আপনি কীভাবে সময়ের সাথে সাথে এটি ব্যবহার করেন:

• সোত পর্যায় → আপনি এটিকে একটি সিম্পল API-এর মতো ব্যবহার করেন
• গ্রোথ পর্যায় → আপনি লেটেন্সি এবং খরচ নিয়ে চিন্তা करना শুরু করেন
• স্কেল → আপনি একই প্ল্যাটফর্মের ভিতরে ডেডিকেটেড এন্ডপয়েন্টে যান

তাই পিউর সার্ভারলেস প্ল্যাটফর্মের বিপরীতে, আপনাকে আবশ্যক নয় প্রোভাইডার সোইচ করতে—আপনি মোড পরিবর্তন করেন।

নির্ণয় लेने আগে বিবেচনা 할 পয়েন্টগুলো

• খরচ আপনার আশা থেকে ভিন্নভাবে স্কেল হয়: সার্ভারলেস প্ল্যাটফর্ম প্রতিটি কম্পিউট সেকেন্ডের জন্য একটি ফিক্সড অন-ডিমান্ড রেট চার্জ করে। যখন আপনার সিস্টেম নিষ্ক্রিয়, তখন মডেলটি দক্ষ। কিন্তু যখন আপনার সিস্টেম নিরবচ্ছিন্ন চলে, সেই রেটটি ঘড়ির মুহূর্ত ছাড়া চলে, কোনো রিলিফ ছাড়া। রিজার্ভড ক্যাপাসিটি সাপোর্টকারী ইনফ্রাস্ট্রাকচার ইফেক্টিভ আওয়ারলি খরচ উল্লেখযোগ্যভাবে কমাতে পারে, কখনো কখনো আধার চেয়ে বেশি। আপনার ওয়ার্কলোড যতক্ষণ প্রিডিক্টেবল থাকে, ততক্ষণ সেই পার্থক্য যোগ হয়।
• ম্যানেজড ডিফল্ট временем সাথে কনস্ট্রেইন্ট হয়ে যায়: ম্যানেজড ইনফারেন্স প্ল্যাটফর্ম時間ে পক্ষ থেকে কনফিগারেশন সিদ্ধান্ত নেয়। কোন অপ্টিমাইজেশন চলবে, মেমরি কীভাবে হ্যান্ডেল হবে, রিকোয়েস্ট কীভাবে ব্যাচ হবে। sơ tôt পর্যায়ে, সেই ডিফল্টগুলো সময় বাঁচায়। পরে, যখন আপনাকে আপনার স্পেসিফিক ওয়ার্কলোডের জন্য ইনফারেন্স লেয়ার টিউন করতে হয়, সেই ডিফল্টগুলো বাধা হয়ে দাঁড়ায়। আপনি যদি কনফিগারেশন অ্যাক্সেস না করতে পারেন, আপনি এটিকে পরিবর্তন করতে পারবেন না। ইনফ্রাস্ট্রাকচার আপনার হাতে থাকলে সেই সেটিংস আপনার।
• আপনার ভিজিবিলিটি প্ল্যাটফর্ম যা দেখায় সেটি পর্যন্ত সীমাবদ্ধ: একটি ম্যানেজড প্ল্যাটফর্মে, যখন কিছু ভুল হয় বা খরচ অপ্রত্যাশিতভাবে বাড়ে, আপনার তদন্ত করার ক্ষমতা প্ল্যাটফর্ম যে ড্যাশবোর্ড বানিয়েছে সেটি পর্যন্ত সীমাবদ্ধ। আপনি দেখতে পান কিছু স্লো বা ব্যয়বহুল, কিন্তু ঠিক কেন সেটি বুঝতে কঠিন যখন ইনফ্রাস্ট্রাকচার লেয়ার আপনার পৌঁছানোর বাইরে। ডেডিকেটেড ইনফ্রাস্ট্রাকচার আপনাকে কম্পিউট, নেটওয়ার্কিং, এবং স্টোরেজ জুড়ে ফুল অবজার্ভাবিলিটি দেয়। আপনি সব কিছু দেখেন, এবং আপনি সেটি নিয়ে কাজ করতে পারেন।
• আরও নিয়ন্ত্রণ মানে আরও দায়িত্ব: আপনার নিজস্ব ইনফ্রাস্ট্রাকচার মালিকানা আপনাকে কম খরচ, গভীর নিয়ন্ত্রণ, এবং পূর্ণ ভিজিবিলিটি দেয়। কিন্তু এটিও মানে আপনি সেটআপ এবং অপারেশনাল কাজের দায়িত্ব নেন যা ম্যানেজড প্ল্যাটফর্ম আপনার জন্য হ্যান্ডেল করে। এটি সবসময় সঠিক কল নয়, বিশেষ করে যদি আপনার টিম ছোট হয় বা আপনার ওয়ার্কলোড এখনো পরিবর্তনশীল। cela dit, একটি সঠিক প্ল্যাটফর্ম সবসময় ম্যানেজড এবং সেলফ-ম্যানেজড প্ল্যাটফর্মের মধ্যে গ্যাপ কমিয়ে সঠিক ভারসাম্য বজায় রাখে। কিছু ইনফ্রাস্ট্রাকচার প্ল্যাটফর্ম এখন প্রি-কনফিগারড ইনফারেন্স ইমেজ, ওয়ান-ক্লিক GPU ডিপ্লয়মেন্ট, এবং কুবারনেটিস সাপোর্ট আউট-অফ-দ-বক্স দিয়ে আসে, যার মানে আপনি শূন্য থেকে শুরু করছেন না। অপারেশনাল ওভারহেড আসল, কিন্তু এটি আগের চেয়ে অনেক হালকা।

উপসংহার

সার্ভারলেস ইনফারেন্স আপনাকে শুরু করার গতি দেয়, পরীক্ষা করার, এবং ঘর্ষণ ছাড়া শিপ করার। কিন্তু যেহেতু আপনার সিস্টেম বড় হয়, ঠিক সেই এবস্ট্রাকশন যা এক وقت আপনাকে দ্রুত চলতে সাহায্য করেছিল, সেটি সেই জিনিসগুলো লুকিয়ে রাখতে শুরু করতে পারে যা সবচেয়ে গুরুত্বপূর্ণ: লেটেন্সি কনসিস্টেন্সি, থ্রুপুট, এবং খরচ দক্ষতা। মোডাল এবং টুগেদার.এআই-এর মতো প্ল্যাটফর্মগুলো শুরুতে বিল্ড এবং স্কেল করা সহজ করে দেয়, এবং অনেকের ক্ষেত্রে, সেগুলো পরবর্তীতে আর্কিটেকচারের অংশে রয়েছে। কিন্তু যেহেতু ওয়ার্কলোড প্রিডিক্টেবল হয়ে যায় এবং এক্সপেকটেশন কঠোর হয়, আরও নিয়ন্ত্রণের দরকার অবিচ্ছেদ্য হয়ে যায়। রিয়েল-ওয়ার্ল্ড সিস্টেমগুলো স্ট্যাটিক থাকে না; সেগুলো অনিশ্চয়তা থেকে पूर्वাভাসযোগ্যতায়, পরীক্ষা থেকে প্রোডাকশনে চলে। এবং যেহেতু সেগুলো তেমন করে, "সঠিক" ইনফ্রাস্ট্রাকচার পছন্দও তাদের সাথে শিফ্ট করে। টিমরা যা বাস্তব ভুল করে সেটি হলো সার্ভারলেসকে দীর্ঘমেয়াদী ডিফল্ট হিসেবে চিনা বরং যা সেটি আসলে: একটি ফেজ। আপনি যতক্ষণ ডেডিকেটেড ইনফ্রাস্ট্রাকচারের দিকে যাওয়া বিলম্ব করবেন একবার আপনার ওয়ার্কলোড স্থিতিশীল হলে, ততক্ষণ আপনি খরচ, পারফরম্যান্স, বা উভয়েই বেশি টাকা দেবেন।

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন-ননকমার্শিয়াল- শেয়ারঅ্যালাইক ৪.০ আন্তর্জাতিক লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।