লিনাক্সে স্যুইচ করলে আমার লোকাল LLM সেটআপ টাইম ঘন্টা থেকে মিনিটে কমল

প্রকাশিত: এপ্রিল ৩০, ২০২৬, ৩:৩০ PM EDT

আফামের টেক পাবলিশিং-এ অভিজ্ঞতা ২০১৮ সালে শুরু হয়, যখন তিনি Make Tech Easier-এ কাজ করতেন। বছরের পর বছর তিনি হাই-কোয়ালিটি গাইড, রিভিউ, টিপস, এবং এক্সপ্লেনার আর্টিকেল পাবলিশ করার রেপুটেশন বানিয়েছেন, উইন্ডোজ, লিনাক্স, এবং ওপেন সোর্স টুল কভার করে। তাঁর কাজ Technical Ustad, Windows Report, Guiding Tech, Alphr, এবং Next of Windows-র মতো টপ ওয়েবসাইটে ফিচার্ড হয়েছে।

তিনি কম্পিউটার সায়েন্সে প্রথম ডিগ্রী রাখেন এবং ডেটা প্রাইভেসি ও সিকিউরিটির প্রबल সমর্থক, এ বিষয়ে টিপস, ভিডিও, এবং টিউটোরিয়াল Fuzo Tech YouTube চ্যানেলে পাবলিশ করেছেন।

কাজ না থাকলে তিনি পরিবারের সাথে সময় কাটাতে, সাইকেল চালাতে, বা তার বাগান চাষ করতে পছন্দ করেন।

আমি কখনো ভাবিনি উইন্ডোজে লোকাল LLM চালানো এত চ্যালেঞ্জিং হবে। এমনকি যখন সেটি ঠিক লাগত, পরে বুঝলাম ইনস্ট্যান্সটি পুরোপুরি CPU-তে রান করছে। ড্রাইভার, এনভায়রনমেন্ট ভেরিয়েবল কনফিগার করা, এবং cuốiে WSL2 সেট আপ করা Ollama মডেল পুল করার পর একটি আলাদা প্রজেক্টের মতো লাগল। এবং তারপর, আমি スタック মেইনটেইন করতে খুব ক্লান্তি অনুভব করলাম।

আমি স্মার্টফোনে চেষ্টা করলাম লিনাক্সে। প্রসেসটি আরও ডায়রেক্ট, সহজ, এবং বাস্তবে, আমি আর এক্সপেক্ট করছিলাম না কিছু ব্রেক হবে। এটি সেমি ফিল করলো যখন আমি আমার লিনাক্স টার্মিনালকে একটি লোকাল AI অ্যাসিস্ট্যান্টে পরিণত করেছিলাম।

যে সেটআপটি ১০ মিনিটে হওয়া উচিত ছিল

কেন উইন্ডোজে Ollama আপনাকে বারবার ফিরিয়ে আনে

উইন্ডোজে Ollama-এর সেটআপ প্রসেস সহজ দেখতে পারে, কিন্তু বাস্তবে, এটি ডাউনলোড ও ইনস্টলার চালানোর চেয়ে অনেক বেশি। প্রথম রানে, আপনি বিশ্বাস করতে পারেন সব কিছু পারফেক্ট কারণ আপনি টেক্সট ও রেসপন্স পাচ্ছেন। কিন্তু কমান্ড: ollama ps চেক করলে, একটি আইডেল GPU দেখাবে। কারণ এটি CPU-তে রান করছে, এবং মাত্র ৩ থেকে ৫ টোকেন প্রতি সেকেন্ড যথেষ্ট ধীর যা হওয়া উচিত।

Ollama-এর ডিফল্ট সাইলেন্ট ফলব্যাক সাধারণ এবং ধরতে কঠিন কারণ এটি কোনো এরর নয়। এই বিহেবিয়ার অন্যান্য OS-এও হতে পারে যদি VRAM মডেলের জন্য খুব ছোট হয়। কিন্তু উইন্ডোজে, ড্রাইভার/ইনস্টলার রেস কন্ডিশন, এনভায়রনমেন্ট ভেরিয়েবল প্রপাগেশন, এবং কমপিটিং রিসোর্স ইউজস gibi কয়েক ফ্যাক্টর এটি ট্রিগার করতে পারে।

এবং কিছুই আউট অফ প্লেস না লাগলেও, এটিও ব্যর্থ হতে পারে; সেক্ষেত্রে আপনি WSL2-এ মুড়ো ফিরাতে পারেন। আমি Open WebUI via Docker ট্রাই করলাম, যা Ollama কে একটি লোকাল ChatGPT-এর মতো করে তোলে ব্রাউজার-ভিত্তিক সার্ভিস হলেও। কিন্তু Docker উইন্ডোজে সবচেয়ে নির্ভরযোগ্যভাবে WSL2 থেকে চলে। এটি উইন্ডোজের ভিতরে চলমান একটি লিনাক্স এনভায়রনমেন্ট, এবং আপনাকে যেকোনো কমপ্লিকেশন এড়াতে সাবধানতার সাথে কনফিগার করতে হবে।

নিশ্চিতভাবে, আপনি এটা শেষ পর্যন্ত সঠিক করবেন। কিন্তু ছোট সমস্যাটি হলো এই প্রসেস কখনো একদম ফিনিশড ফিল করে না। একটা জিনিস ফিক্স করলে, আরেকটা, তারপর আরেকটা। আপনি কখনো প্রিডিক্ট করতে পারবেন না একটি ওয়ারকিং সেটআপ পেতে কতক্ষণ লাগবে; হতে পারে ৫ মিনিট অথবা ৫ ঘন্টা।

৫টি লিনাক্স টার্মিনাল কমান্ড যা আমার অধিকাংশ সিস্টেম সমস্যা ফিক্স করে

প্রতিটি লিনাক্স ব্যবহারকারীর জানা উচিত এসেনশিয়াল লিনাক্স ট্রাবলশুটিং কমান্ড।

লিনাক্স ইনস্টলেশন আসলে কেমন ছিল

একটি কমান্ড, GPU এক্টিভ, আর কোনো কনফিগারেশন বাকি নেই

লিনাক্সে লোকাল LLM ইনস্টল করা, তুলনামূলকভাবে, অনুঘটনশীল ছিল। আমি এক ইনস্টল কমান্ড থেকে মডেল ডাউনলোড, GPU ডিটেক্টেড, এবং ব্যাস। আমি প্রথম রেসপন্স জেনারেট করলে, কোনো কিছু ফিক্স করতে আছে কিনা সেটি দেখতে انتظار করলাম; কিছুই ছিল না।

এটি কোনো OS ভালো কিনা সেটি নিয়ে প্রশ্ন নয়। এটি শুধু সত্য যে, Ollama-এর ইনস্টলেশন স্ক্রিপ্টটি প্রথম লিনাক্সের জন্য লেখা হয়েছিল এবং সেটি প্রায় ফ্ললেসলি কাজ করেছিল, বাইনারি ইনস্টল করার থেকে Ollama-কে একটি ব্যাকগ্রাউন্ড সার্ভিস হিসেবে রেজিস্টার করা যা সিস্টেমের সাথে স্টার্ট হয়, GPU হার্ডওয়্যার অটোমেটিক্যালি ডিটেক্ট করা পর্যন্ত। এখানে কোনো ব্রিজিং লেয়ার বা এনভায়রনমেন্ট ট্রান্সলেশন দরকার নেই। যতক্ষণ সকল ড্রাইভার ইনস্টলেশনের আগে במקוםে থাকে, পুরো প্রসেস নিজে নিজে খেয়াল রাখে।

আমার অভিজ্ঞতা থেকে, উভয় OS-এ প্রসেসটি কেমন তা নিচে দেওয়া হলো:

উইন্ডোজ সাপোর্টেড—লিনাক্স হলো সেখানে লেখা হয়েছিল

যদি আপনি ইকোসিস্টেমে די 오래 থাকেন, তবে আপনি আবিষ্কার করবেন যে Ollama, Open WebUI, এবং Docker উইন্ডোজের জন্য বিল্ট হয়নি, নाही সেগুলোর চারদিকে বিল্ট Python ইন্টিগ্রেশন। উইন্ডোজ সাপোর্ট সেগুলোর ওপর লেয়ার করা হয়েছে, এবং এটি বড় পার্থক্য সৃষ্টি করে।

সেরা উদাহরণ হলো Open WebUI, যা লিনাক্সে একটি সিঙ্গল Docker কমান্ড। এই কমান্ডটি তাৎক্ষণিক কন্টেইনার শুরু করবে যা লোকাল Ollama ইনস্ট্যান্সের সাথে কানেক্ট করবে যতক্ষণ আপনি ব্রাউজার খুলবেন। উইন্ডোজে, আপনি এই সব এলিমেন্ট কনফিগার করছেন। এটি কাজ করে, কিন্তু অধিকাংশ সময় ফার্স্ট অ্যাটেমপ্টে কাজ করে না, যা সাধারণত একটি লম্বা ডিবাগিং প্রসেসে নিয়ে যায়।

এই সমস্যা AMD GPU ব্যবহারকারীদের জন্য আরও জটিল। ROCm ভার্সন ৭-এর মাধ্যমে AMD GPU ইনফারেন্সের জন্য AMD-এর কম্পিউট প্ল্যাটফর্মের পূর্ণ লিনাক্স সাপোর্ট আছে। উইন্ডোজে, অফিসিয়াল সাপোর্ট ভার্সন ৬.১+ এ আটকে আছে এবং এক্সপেরিমেন্টাল। ফলস্বরূপ, অনেক উইন্ডোজ AMD GPU ব্যবহারকারী তাদের হার্ডওয়্যার ক্যাপেবিলিটি থাকা সত্ত্বেও Ollama CPU-এ চালান। অন্ডারলাইং GPU স্ট্যাক শুধু উপলব্ধ নয়।

LM Studio ব্যবহার করার কথা ভাবুন Ollama-এর আলাদা একটি টুল হিসেবে। এটি GUI-ফার্স্ট, উইন্ডোজ এবং লিনাক্স উভয়েই ক্লিনলি চলে, এবং আপনাকে টার্মিনাল ছাড়া মডেল চালাতে দেয়। তবে, এটি শুধু কাজ করে আপনি যদি লোকাল LLM-এ চ্যাট করতে চান আরও কিছু না করে।

বাঁচানো টাইম আপফ্রন্ট নয়

যদিও আমি ইনিশিয়াল ইনস্টল খুব ফ্লুইড পেলাম, আমি লোকাল LLM লিনাক্সে কিভাবে কাজ করে সেটি প্রতিটি পরবর্তী ব্যবহারে আরও বুঝতে পারলাম। কারণ এটি একবারের ইনস্টল নয় যা আপনি চিরকাল ব্যবহার করবেন। আপনি নতুন মডেলগুলো চেষ্টা করতে থাকবেন যেসময় সেগুলো আসে। আপনি باستمرار ছোট, কোয়ান্টাইজড ভার্সন ট্রাই করতে থাকবেন মডেল ধীর হলে।

এই সব সিস্টেম-লেভেল পরিবর্তন দরকার করে। উইন্ডোজের প্রাথমিক কমপ্লিকেশনগুলো আপনি পরিবর্তন করলে পুনরাবৃত্তি হবে, এবং আপনার লোকাল LLM অভিজ্ঞতাকে খুব নাইস্বাদময় করে দেবে।

আপনি যদি শুধু লোকাল LLM-এর জন্য লিনাক্স ট্রাই করতে চান, তবে আমি আপনাকে Linux Mint ব্যবহার করার পরামর্শ দেব। এটি উইন্ডোজ ইকোসিস্টেম থেকে আসা কারো জন্য সম্ভবত সেরা ডিস্ট্রো।

Linux Mint একটি জনপ্রিয়, ফ্রি, এবং ওপেন-सোর্স অপারেটিং সিস্টেম ডেস্কটপ এবং ল্যাপটপের জন্য। এটি ইউজার-ফ্রেন্ডলি, স্ট্যাবল, এবং আউট-অফ-দ্য-বক্স ফাংশনাল।