আপনার ফোনে লোকাল LLM-এর ৫টি শক্তিশালী ব্যবহার

প্রকাশিত: এপ্রিল ১৬, ২০২৬, ৩:০০ PM EDT

Oluwademilade পাঁচ বছরেরও বেশি লেখার অভিজ্ঞতা নিয়ে একটি টেক এনথুসিয়াস্ট। তিনি ২০২২ সালে MUO টিমে যোগ দেন এবং কনজিউমার টেক, iOS, অ্যান্ড্রয়েড, আর্টিফিশিয়াল ইন্টেলিজেন্স, হার্ডওয়্যার, সফ্টওয়্যার, এবং সাইবারসিকিউরিটি সহ বিভিন্ন বিষয় কভার করেন। MUO-এ লেখার পাশাপাশি, তার কাজ HowtoGeek, Cryptoknowmics, TechNerdiness, এবং SlashGear-এ দেখানো হয়েছে।

Oluwademilade নাইজেরিয়ার ইবাদান বিশ্ববিদ্যালয়ে চিকিৎসা ডিগ্রি অর্জন করেছেন। জনসেবায় উদ্ভাবন করলে, Oluwademilade কুয়ালালামপুর, মালেশিয়ায় সঙ্কৃত সত্তার সাথে সংলগ্ন একটি ছাত্র সংগঠন দ্বারা গ্লোবাল অ্যাকশন অ্যামব্যাসেডর উপাধি দেওয়া হয়েছিল, ২০২০ সালে তার ইতিবাচক বৈশ্বিক প্রভাবের স্বীকৃতিতে।

তার ফ্রি টাইমে, Oluwademilade নতুন AI অ্যাপ এবং ফিচার টেস্ট করা, পরিবার এবং বন্ধুদের জন্য টেক সমস্যা সমাধান করা, নতুন কোডিং ভাষা শেখা, এবং যেকোনো সময় সম্ভব হলে নতুন জায়গায় ঘুরে বেড়াতে উপভোগ করেন।

প্রতিবার আপনি ChatGPT, Gemini, এবং সেগুলোর মতো কিছুর কাছে একটি প্রম্পট পাঠালে, সেটি ইন্টারনেটের জুড়ে ভ্রমণ করে, কোথাও একটি সার্ভারে ল্যান্ড করে, এবং একটি সিস্টেমের অংশ হয়ে যায় যা আপনি আসলে দেখেন না। সেই ট্রেড-অফ সাধারণত ক্লাউড মডেলগুলো দ্রুত, বুদ্ধিমান, এবং ব্যবহার করতে সহজ হওয়ার কারণে ওরথ দেয়।

আমার ফোনে লোকালি একটি ছোট ল্যাঙ্গুয়েজ মডেল চালালে আমি AI কী জন্য ব্যবহার করি সেটি বদলালো। অভিজ্ঞতাটি বেশি প্রাইভেট, এবং কখনো কখনো আশা 했던 চেয়ে বেশি প্র্যাক্টিক্যাল। এটি ক্লাউড AI-এর মতো শক্তিশালী নয়, কিন্তু কিছু জিনিসের জন্য, এটি আসলে সেরা টুল।

এই হলো সবচেয়ে উপযোগী উপায় যেগুলো আমি আমার ফোনে একটি লোকাল LLM ব্যবহার করেছি।

সম্পর্কিত

আমি এটিকে একটি চিন্তা পার্টনার হিসেবে ব্যবহার করি

সেই প্রশ্নগুলোর জন্য যেগুলো আমি আমার ফোন ছেড়ে যেতে চাই না

একটি নির্দিষ্ট ধরনের প্রশ্ন আছে যা আপনাকে ChatGPT-এ বা এমনকি Google-এ টাইপ করার আগে বিরাম দেয়। না কারণ এটি অনुचিত, বরং কারণ এটি যথেষ্ট পারসোনাল যে আপনার অ্যাকাউন্টের সাথে বাঁধা একটি সার্ভারে পাঠানো ভালো লাগে না। কী "খুব পারসোনাল" হিসাবে গণ্য হবে সেটি ব্যক্তি থেকে ব্যক্তিতে ভিন্ন হবে, কিন্তু সবার লাগে সেটি অদৃশ্য রেখা আছে।

এই প্রশ্নগুলোর আপনি আমি একটি লোকাল মডেলের দিকে নিয়ে যেতে শুরু করলাম। কথোপকথন আমার হার্ডওয়্যারের ওপর থাকে, এবং আপনি যদি একটু এক্সট্রা সতর্ক হতে চান, আপনি আপনার ফোনকে Airplane Mode-এ ফ্লিপ করতে পারেন এবং একটি সত্যিকারের এয়ার-গ্যাপড কথোপকথন করতে পারেন। সেই পয়েন্টে, এটি সত্যিই শুধু আপনি এবং মডেল, বাইরের দুনিয়ার সাথে কোনো কানেকশন ছাড়া।

এটি কীভাবে আমি AI ব্যবহার করি সেটি বদলালো। আমি যেন মতে চিন্তা করার জন্য আরও ইচ্ছুক, অর্ধ-নির্মিত আইডিয়া টেস্ট করতে, বা সেই প্রশ্নগুলো জিজ্ঞেস করতে যেগুলো আমি সাধারণত নিজের কাছে রাখতাম।

MNN

আমি গুলো মেসি নোটস সেটিতে ফেলি দি

এবং কিছু কাঠামো ফিরে পাই

আমি অনেক নোট নেই, এবং 솔직হি, অধিকাংশটা একটি মেস। এতে স্পিচ-টু-টেক্সট ট্রান্সক্রিপ্ট অন্তর্ভুক্ত যা নিজের ওপর ফিরে আসে, শূন্য কনটেক্সটের সাথে বুলেট পয়েন্টস, অর্ধ-সমাপ্ত চিন্তা যেগুলো মুহূর্তে পুরোপুরি অর্থপূর্ণ মনে হতো এবং পরে একদম কিছুই নয়। আমার পুরানো ওয়ার্কফ্লো অনেক তাকান, লাইনগুলো ইনহেরে শাফল করা, এবং ধীরে ধীরে আমি কী বোঝাতে চে칠াম সেটি পুনর্গঠন করার চেষ্টা নিয়ে জড়িত ছিল।

এখন আমি সেই ব্রেন ডাম্পগুলো সরাসরি একটি লোকাল মডেলে পেস্ট করি এবং এটাকে অর্গানাইজ করতে বলি। এটি থ্রেডটি টানতে পারে, বুঝতে পারে আমি কী চেনে যাচ্ছিলাম, এবং কিছুটা ক্লিন কিছু রিটার্ন করতে পারে जिससे এগিয়ে যেতে পারে। সব পলিশড নয়, কিন্তু কোহেরেন্ট যথেষ্ট যাতে এগিয়ে যেতে পারে।

এটি নোটগুলোর জন্য বিশেষভাবে ভালো কাজ করে যেগুলো কাঁচা পাঠাতে খুব র‍িস্কি মনে হয়। কারণ সবকিছু অন-ডিভাইসে থাকে, আমি রিয়েল নাম, ফিগার, বা পারসোনাল কনটেক্সটের সাথে মাটেরিয়াল পেস্ট করার জন্য হিচকিচাই না। যেমন আমি আগে বললাম, টেক্সট কোথায় যাচ্ছে সেটি সম্পর্কে কোনো মানসিক বিরাম নেই, কারণ সেটি কখনো মেশিন ছেড়ে যায় না। এটি ঠিক সেই কারণেই আমি সবকিছু লোকাল AI-এ শিফ্ট করলাম এবং ক্লাউডে আমার ডকুমেন্ট পাঠানো বন্ধ করলাম।

আমি দ্রুত কোড চেক চালাই

যখন আমি শুধু লজিক স্যানিটি চেক করি

প্রপ্রায়েটারি লজিক, ইন্টারন্যাল টুলিং, ক্লায়েন্ট-স্পেসিফিক কনফিগারেশন — এই পরিস্থিতিগুলো প্রচুর যেখানে একটি ক্লাউড মডেলে কোড পেস্ট করা বর্ডারলাইন ব্যাড আইডিয়া, টার্মস অফ সার্ভিস যা প্রমিস করুক না কেন। আমার ফোনে চলমান একটি লোকাল LLM একটি লাইটওয়েট ফলব্যাক হয়ে উঠলো যখন আমি আমার ল্যাপটপ থেকে দূরে থাকি। ঠিক যেমন ডেস্কটপে MCP টুলসের সাথে লোকাল LLM ব্যবহার করার কিছু আকর্ষণীয় উপায় আছে, আমি একটি এরর বর্ণনা করতে পারি, একটি ছোট ফাংশন পেস্ট করতে পারি, বা শুধু একটি প্লেইন-ইংলিশ এক্সপ্লানেশন চাইতে পারি একটি লজিক চাঙ্ক কী করছে সেটি সম্পর্কে সরাসরি আমার ফোন থেকে।

সম্পর্কিত

এটি একটি প্রপার IDE-এর রিপ্লেসমেন্ট নয়, أسوسيাসনেও নিকটে নয়, কিন্তু এটি গ্যাপগুলো পূরণ করে। এটি ছোট স্নিপেটসের সাথে সবচেয়ে ভালো কাজ করে, مثل একটি কয়েক সো লাইন সর্বোচ্চ। সেই রেঞ্জের মধ্যে, এমনকি মোডেস্ট অন-ডিভাইস মডেলগুলো লজিক ব্যাখ্যা করার, স্পষ্ট ভুল ধরা পড়ার, বা ক্লিনার অ্যাপ্রোচ সাজেস্ট করার জন্য সক্ষম।

আমি এটিকে একটি জিরো-প্রেসার ল্যাঙ্গুয়েজ টিউটর হিসেবে ব্যবহার করি

স্ট্রিক, স্কোর, বা প্রেসার ছাড়া প্র্যাকটিস

ক্লাউড-ভিত্তিক ল্যাঙ্গুয়েজ অ্যাপস প্রায়শই লার্নিং টুলের চেয়ে মোবাইল গেমের মতো মনে হয়। সেগুলো স্ট্রিক ট্র্যাক করে, নোটিফিকেশন দিয়ে নাজ করান, এবং অ্যাড ছিটিয়ে দেয় আপনাকে এনগেজড রাখতে। একটি লোকাল LLM সেটিগুলোর কোনটিই করে না।

আমি ফরাসি এবং স্পেনিশ প্র্যাকটিস করতে এটিকে ব্যবহার করছি একটি আরও ফ্রি-ফর্ম উপায়ে। Kindle এবং ChatGPT ব্যবহার করার ট্রিক থেকে অনুপ্রাণিত হয়ে, আমি আওকার্ড গ্রামার প্রশ্ন জিজ্ঞেস করতে পারি, রোলপ্লে সিনেরিও রিকোয়েস্ট করতে পারি, বা শুধু ক্যাজুয়াল কথোপকথন ধরে রাখতে পারি ভুলের চিন্তা ছাড়া। কোনো স্কোরিং সিস্টেম নেই এবং ইভ্যালুয়েট হওয়ার কোনো অনুভূতি নেই।

কারণ এটি লোকালি চলে, এটি অফলাইনে ও কাজ করে। আমি একটি ফ্লাইটে, স্পটিটি হোটেল Wi-Fi-এ, বা যেকোনো জায়গায় আপনার কানেকশন অবিশ্বস্ত হলে প্র্যাকটিস করতে পারি। এটিই কানেক্টিভিটির চারপাশে প্ল্যানিং ছাড়া ছোট সেশনগুলো নিচোড় করানোর জন্য সহজ করে দেয়।

আমি আমার ক্যামেরা জিনিসপত্রের দিকে পয়েন্ট করি এবং জিজ্ঞেস করি...

সেটি কী?

কিছু লোকাল মডেল ইমেজও হ্যান্ডল করতে পারে টেক্সটের পাশাপাশি (সেগুলো আসলে মাল্টিমোডাল মডেল বলে ডাকা হয়), যা ব্যবহারিক ব্যবহারগুলোর একটি সেট খুলে দেয়। আমি সাধারণত সেগুলো হোয়াইটবোর্ড সারমারাইজ করতে, হ্যান্ডরিটেন নোট ইন্টারপ্রেট করতে, এবং কুইক ফটোগুলো থেকে কী পয়েন্ট এক্সট্রাক্ট করতে ব্যবহার করি।

এটি প্রতিদিনের পরিস্থিতির জন্যও সহায়ক। আমি ইনগ্রেডিয়েন্ট লেবেল স্ন্যাপ করেছি এলার্জেন ডাবল-চেক করতে, পণ্য প্যাকেজিং ফটোগ্রাফ করেছি অন 익숙 শব্দ বুঝতে, এবং গাছের ছবি তুলেছি শুধু একটি রাফ আইডেন্টিফিকেশন পাওয়ার জন্য। এই কোনোটিই ইন্টারনেট কানেকশন দরকার করবে না যখন মডেল ফুলি অন-ডিভাইসে চলে।

ফলাফলগুলো সবসময় পারফেক্ট নয়। ছোট মডেলগুলো ডিটেইল হ্যালুসিনেট করতে পারে, বিশেষ করে যখন ইমেজ ব্লার বা ক্লাটার্ড। এমনকি তবুও, এটি প্রায়শই কুইক কনটেক্সট বা একটি সেকেন্ড ओপিনিয়নের জন্য পর্যাপ্ত ভালো, যা সাধারণত আমার দরকার সব।

একটি ছোট মডেল, কিন্তু একটি ভিন্ন ধরনের উপযোগিতা

MNN Chat, Alibaba দ্বারা ডেভেলপ করা একটি ওপেন-सোর্স প্রজেক্ট, এই ধরনের টাস্কের জন্য আমার গো-টু হয়ে উঠলো কারণ এটি মোবাইল হার্ডওয়্যারের সাথে কীভাবে পারফরম্যান্স নিচোড়ে তোলে সেটির জন্য। এটি একক হাতে প্রমাণ করে যে আপনি আপনার অ্যান্ড্রয়েড ফোনে একটি ছোট LLM চালাতে পারেন (এবং চালাতে উচিত)।

そう言うと, আপনার ফোনে একটি লোকাল LLM চালানো ক্লাউড AI-এর রিপ্লেসমেন্ট নয়। বড় মডেলগুলো এখনো এজ রাখে যখন ব্যাপার আসে ভারি লিফ্টিং, জটিল রিজনিং, কোডিং, গভীর রিসার্চ, সেই সব। কিন্তু সেটিই আসলে পয়েন্ট নয়; লোকাল মডেলগুলো একটি ভিন্ন রোল পূরণ করে। সেগুলো প্রাইভেট, সবসময় হাতের নিকট, এবং ছোট ছোট, দৈনন্দিন টাস্কের জন্য খুব উপযোগী।