কেন লিনাক্সে স্যুইচ করা আমার স্থানীয় এলএলএম সেটআপের সময়কে ঘন্টা থেকে মিনিটে কেটে দেয়

30 এপ্রিল, 2026, বিকাল 3:30 PM EDT

কারিগরি প্রকাশনার ক্ষেত্রে আফামের অভিজ্ঞতা 2018 সালের, যখন তিনি মেক টেক ইজিয়ার-এর জন্য কাজ করেছিলেন। বছরের পর বছর ধরে, তিনি উইন্ডোজ, লিনাক্স এবং ওপেন সোর্স টুলস কভার করে উচ্চ-মানের গাইড, রিভিউ, টিপস এবং ব্যাখ্যাকারী নিবন্ধ প্রকাশের জন্য একটি খ্যাতি তৈরি করেছেন। তার কাজ টেকনিক্যাল উস্তাদ, উইন্ডোজ রিপোর্ট, গাইডিং টেক, আলফ্র এবং উইন্ডোজের নেক্সট সহ শীর্ষস্থানীয় ওয়েবসাইটগুলিতে প্রদর্শিত হয়েছে৷

তিনি কম্পিউটার সায়েন্সে প্রথম ডিগ্রি অর্জন করেছেন এবং ফুজো টেক ইউটিউব চ্যানেলে প্রকাশিত বিষয়ের উপর বিভিন্ন টিপস, ভিডিও এবং টিউটোরিয়াল সহ ডেটা গোপনীয়তা এবং সুরক্ষার জন্য একজন শক্তিশালী উকিল৷

যখন তিনি কাজ করেন না, তখন তিনি তার পরিবারের সাথে সময় কাটাতে, সাইকেল চালাতে বা তার বাগানে পরিচর্যা করতে পছন্দ করেন। 

আমি কখনই ভাবিনি যে উইন্ডোজে স্থানীয় এলএলএম চালানো এত চ্যালেঞ্জিং হবে। এমনকি যখন এটি ভাল মনে হয়েছিল, আমি পরে বুঝতে পেরেছিলাম যে উদাহরণটি সম্পূর্ণভাবে আমার CPU তে চলছে। ড্রাইভার কনফিগার করা, এনভায়রনমেন্ট ভেরিয়েবল, এবং অবশেষে WSL2 সেট আপ করা একটি ওল্লামা মডেল টানার পর একটি আলাদা প্রজেক্টের মত অনুভূত হয়েছিল। এবং এর পরে, আমি স্ট্যাক বজায় রাখা খুব ক্লান্তিকর বলে মনে করেছি।

আমি যখন লিনাক্সে এটি চেষ্টা করেছি তখন আমি আনন্দিতভাবে অবাক হয়েছিলাম। প্রক্রিয়াটি আরও প্রত্যক্ষ, সহজ এবং সত্যই, আমি আর জিনিসগুলি ভেঙে যাওয়ার আশা করছিলাম না। যখন আমি আমার লিনাক্স টার্মিনালকে স্থানীয় এআই সহকারীতে পরিণত করেছিলাম তখন এটি অনুরূপ ছিল।

যে সেটআপে দশ মিনিট সময় নেওয়া উচিত ছিল

কেন উইন্ডোজে ওল্লামা আপনাকে আবার

উইন্ডোজে ওল্লামার সেটআপ প্রক্রিয়াটি সহজবোধ্য মনে হতে পারে, কিন্তু বাস্তবে, এটি ইনস্টলার ডাউনলোড এবং চালানোর চেয়ে অনেক বেশি। প্রথম দৌড়ে, আপনি নিশ্চিত হতে পারেন যে সবকিছুই নিখুঁত কারণ আপনি পাঠ্য এবং প্রতিক্রিয়া পাবেন। যাইহোক, কমান্ড দিয়ে চেক করা হচ্ছে:ollama ps , একটি নিষ্ক্রিয় GPU প্রকাশ করে। কারণ এটি CPU-তে চলছে, এবং প্রতি সেকেন্ডে মাত্র 3 থেকে 5 টোকেন এটি হওয়া উচিত তার চেয়ে যথেষ্ট ধীর।

ওল্লামার ডিফল্ট সাইলেন্ট ফলব্যাক সাধারণ এবং চিহ্নিত করা কঠিন কারণ এটি কোন ত্রুটি নির্গত করে না। মডেলের জন্য উপলব্ধ VRAM খুব ছোট হলে অন্যান্য OS-এ এই আচরণ সম্ভব। যাইহোক, Windows-এ, ড্রাইভার/ইন্সটলারের রেসের অবস্থা, পরিবেশ পরিবর্তনশীল প্রচার এবং প্রতিযোগী সংস্থান ব্যবহারের মতো অন্যান্য কারণগুলি এটিকে ট্রিগার করতে পারে।

এমনকি যখন কিছুই স্থানের বাইরে মনে হয়, তখনও এটি ব্যর্থ হতে পারে; এই ক্ষেত্রে, আপনি WSL2 এ যেতে পারেন। আমি ডকারের মাধ্যমে ওপেন ওয়েবইউআই চেষ্টা করেছি, যা ব্রাউজার-ভিত্তিক পরিষেবা হওয়া সত্ত্বেও ওলামাকে স্থানীয় চ্যাটজিপিটির মতো মনে করে। যাইহোক, ডকার WSL2 থেকে উইন্ডোজে সবচেয়ে নির্ভরযোগ্যভাবে চালায়। এটি একটি লিনাক্স এনভায়রনমেন্ট যা উইন্ডোজের মধ্যে চলছে, এবং কোন জটিলতা এড়াতে আপনাকে এটিকে সাবধানে কনফিগার করতে হবে।

অবশ্যই, আপনি অবশেষে এটি সঠিকভাবে সম্পন্ন হবে. সামান্য সমস্যা, তবে, এই প্রক্রিয়াটি কখনই মনে হয় না যে এটি সত্যিই শেষ হয়েছে। এটা একটা চক্র, তারপর আরেকটা, তারপর আরেকটা ঠিক করার। আপনি কখনই ভবিষ্যদ্বাণী করতে পারবেন না যে একটি কাজের সেটআপ পেতে কত সময় লাগবে; এটি পাঁচ মিনিট বা পাঁচ ঘন্টা হতে পারে৷

সম্পর্কিত

5টি লিনাক্স টার্মিনাল কমান্ড যা আমার সিস্টেমের বেশিরভাগ সমস্যার সমাধান করে

অপরিহার্য লিনাক্স ট্রাবলশুটিং কমান্ড প্রত্যেক ব্যবহারকারীর জানা উচিত।

লিনাক্স ইন্সটল আসলে কেমন ছিল

একটি কমান্ড, GPU সক্রিয়, এবং কনফিগার করার জন্য কিছুই অবশিষ্ট নেই

লিনাক্সে একটি স্থানীয় এলএলএম ইনস্টল করা, তুলনামূলকভাবে, অস্বাভাবিক ছিল। আমি একটি ইনস্টল কমান্ড থেকে মডেল ডাউনলোডে গিয়েছিলাম, জিপিইউ সনাক্ত করা হয়েছে, এবং এটি ছিল। যখন আমি আমার প্রথম প্রতিক্রিয়া তৈরি করি, ঠিক করার জন্য কিছু ছিল তখন আমি চারপাশে ঝুলিয়ে রেখেছিলাম; ছিল না।

এটি কোন OS ভাল তা একটি প্রশ্ন নয়। এটি কেবলমাত্র যে ওল্লামার জন্য ইনস্টলেশন স্ক্রিপ্টটি প্রথমে লিনাক্সের জন্য লেখা হয়েছিল এবং বাইনারিগুলি ইনস্টল করা এবং ওলামাকে সিস্টেমের সাথে শুরু হওয়া একটি ব্যাকগ্রাউন্ড পরিষেবা হিসাবে নিবন্ধন করা থেকে শুরু করে GPU হার্ডওয়্যার স্বয়ংক্রিয়ভাবে সনাক্ত করা পর্যন্ত প্রায় ত্রুটিহীনভাবে কাজ করেছিল। এর কোনোটিরই ব্রিজিং লেয়ার বা পরিবেশ অনুবাদের প্রয়োজন নেই। যতক্ষণ পর্যন্ত সমস্ত ড্রাইভার ইনস্টলেশনের আগে থাকে, পুরো প্রক্রিয়াটি নিজের যত্ন নেয়।

যদি GPU সনাক্তকরণ ব্যর্থ হয় কারণ আপনি ড্রাইভারগুলি নিশ্চিত হওয়ার আগে ইনস্টলেশন করেছিলেন, তাহলে এটি ঠিক করতে ওল্লামা পুনরায় ইনস্টল করুন৷

আমার অভিজ্ঞতা থেকে, উভয় ওএসে প্রক্রিয়াটি কীভাবে তুলনা করে তা এখানে:

ধাপ

উইন্ডোজ

লিনাক্স

ওল্লামা ইনস্টল করুন

.exe ইনস্টলার (GPU ব্যবহারের জন্য আলাদা যাচাইকরণ প্রয়োজন)

একটি কমান্ড (GPU স্বয়ংক্রিয়ভাবে সনাক্ত করা হয়েছে)

GPU আসলে প্রথম রানে ব্যবহৃত হয়

প্রায়শই নীরবে CPU-তে ফিরে আসে

ড্রাইভারের জায়গায় থাকলে অবিলম্বে ব্যবহার করা হয়

WebUI সেটআপ খুলুন

WSL2 ইন্সটল করা এবং এর ভিতরে ডকার কনফিগার করা প্রয়োজন

একক ডকার কমান্ড

AMD GPU ত্বরণ

পরীক্ষামূলক (ROCm v6.1+, ঘন ঘন CPU ফলব্যাক রিপোর্ট করা হয়েছে)

ROCm v7

ওল্লামা স্টার্টআপে চলে

ম্যানুয়াল কনফিগারেশন প্রয়োজন

সিস্টেমডের মাধ্যমে স্বয়ংক্রিয়

উইন্ডোজ সমর্থিত — লিনাক্স যেখানে লেখা হয়েছে

একবার আপনি ইকোসিস্টেমে যথেষ্ট সময় ধরে থাকলে, আপনি আবিষ্কার করেন যে ওলামা, ওপেন ওয়েবইউআই এবং ডকার উইন্ডোজের জন্য তৈরি করা হয়নি, এবং তাদের চারপাশে পাইথন ইন্টিগ্রেশন তৈরি করা হয়নি। উইন্ডোজ সমর্থন তাদের উপরে রাখা হয়, এবং এটি একটি উল্লেখযোগ্য পার্থক্য করে।

সর্বোত্তম উদাহরণ হল ওপেন ওয়েবইউআই, যা লিনাক্সে একক ডকার কমান্ড। আপনি একটি ব্রাউজার খুললে এই কমান্ডটি অবিলম্বে ধারকটি চালু করবে যা ওল্লামার স্থানীয় উদাহরণের সাথে সংযোগ করে। উইন্ডোজে, আপনি এই সমস্ত উপাদান কনফিগার করছেন। এটি কাজ করে, কিন্তু প্রায়শই এটি আপনার প্রথম প্রচেষ্টায় হয় না, যা সাধারণত একটি দীর্ঘ ডিবাগিং প্রক্রিয়ার দিকে নিয়ে যায়।

এএমডি জিপিইউ ব্যবহারকারীদের জন্য এই সমস্যাগুলি আরও জটিল। ROCm সংস্করণ 7 এর জন্য সম্পূর্ণ লিনাক্স সমর্থন রয়েছে, GPU অনুমানের জন্য AMD এর গণনা প্ল্যাটফর্ম। Windows-এ, অফিসিয়াল সাপোর্ট স্টল 6.1+ সংস্করণে এবং পরীক্ষামূলক থাকে। ফলস্বরূপ, এএমডি জিপিইউ-এর অনেক উইন্ডোজ ব্যবহারকারী এখনও তাদের হার্ডওয়্যার ক্ষমতা নির্বিশেষে সিপিইউতে ওল্লামা চালান। অন্তর্নিহিত GPU স্ট্যাকটি উপলব্ধ নয়৷

ওল্লামা থেকে আলাদা টুল হিসাবে LM স্টুডিও ব্যবহার করার কথা বিবেচনা করুন। এটি জিইউআই-প্রথম, উইন্ডোজ এবং লিনাক্সে পরিষ্কারভাবে চলে এবং আপনাকে টার্মিনাল ছাড়াই মডেল চালাতে দেয়। যাইহোক, এটি শুধুমাত্র তখনই কাজ করে যদি আপনি বেশি কিছু না করে স্থানীয় LLM-এর সাথে চ্যাট করতে চান৷

আপনি যে সময় সঞ্চয় করেন তা অগ্রিম নয়

যদিও আমি প্রাথমিক ইনস্টলেশনটি খুব তরল পেয়েছি, আমি উপলব্ধি করতে পেরেছি যে আমার সেটআপের প্রতিটি পরবর্তী ব্যবহারের সাথে স্থানীয় LLMগুলি কীভাবে লিনাক্সে আরও কাজ করে। কারণটি হল এটি একটি এককালীন ইনস্টল নয় যা আপনি চিরতরে ব্যবহার করতে থাকবেন। আপনি নতুন মডেলগুলি উপলব্ধ হওয়ার সাথে সাথে চেষ্টা চালিয়ে যান৷ আপনি ক্রমাগত ছোট, কোয়ান্টাইজড সংস্করণ চেষ্টা করছেন কারণ একটি মডেল খুব ধীর হয়ে যায়৷

এই সব সিস্টেম-স্তরের পরিবর্তন প্রয়োজন. আপনি পরিবর্তন করার সাথে সাথে Windows এ প্রাথমিক জটিলতাগুলি পুনরাবৃত্তি হতে পারে এবং শুধুমাত্র স্থানীয় LLM-এর সাথে আপনার অভিজ্ঞতাকে খুব অপ্রীতিকর করে তুলবে৷

আপনি যদি স্থানীয় এলএলএম-এর জন্য লিনাক্স চেষ্টা করতে চান, আমি আপনাকে লিনাক্স মিন্ট ব্যবহার করার পরামর্শ দেব। উইন্ডোজ ইকোসিস্টেম থেকে যারা আসছে তাদের জন্য এটি সম্ভবত সেরা ডিস্ট্রো।

লিনাক্স মিন্ট ডেস্কটপ এবং ল্যাপটপের জন্য একটি জনপ্রিয়, বিনামূল্যের এবং ওপেন সোর্স অপারেটিং সিস্টেম। এটি ব্যবহারকারী-বান্ধব, স্থিতিশীল এবং বাক্সের বাইরে কার্যকরী৷