ওয়েব ব্রাউজার ছাড়া একটি ওয়েবসাইট ডাউনলোড করার একটি উপায় ছিল কিনা তা কখনও ভাবছেন? তোমার ভাগ্য ভাল. লিনাক্স কমান্ড লাইনের শক্তি দিয়ে, সবকিছু সম্ভব। এই কাজটি সম্পূর্ণ করার জন্য একাধিক পদ্ধতি রয়েছে, তবে আমরা এই নিবন্ধে wget এর উপর ফোকাস করছি।
wget কি?
ওয়েব সার্ভার থেকে বিষয়বস্তু পুনরুদ্ধার করার জন্য wget হল একটি GNU কমান্ড-লাইন ইউটিলিটি। একটি ডাউনলোডার হিসাবে, wget তার নিজের অধিকারে খুব শক্তিশালী। wget একাধিক প্রোটোকলের সাথে কাজ করতে সক্ষম, যেমন HTTP, HTTPS এবং FTP। wget ইউটিলিটির অন্যান্য ক্ষমতাগুলির মধ্যে রয়েছে:
- নিঃশব্দে বা পটভূমিতে চালানোর ক্ষমতা
- লিনাক্স স্ক্রিপ্ট বা CRON কাজের সাথে একত্রিত
- এক সময়ে একাধিক ডাউনলোড চালাতে পারে
- পাসওয়ার্ডের প্রয়োজন হয় এমন ফাইল ডাউনলোড করে
কেন wget?
যদিও অনেকগুলি টুল রয়েছে যা ওয়েবসাইট কার্যক্রম সম্পাদন করতে পারে, wget একটি বিস্তৃত সুযোগের জন্য অনুমতি দেয়। এটি ব্যবহারকারীকে ওয়েব ব্রাউজার ছাড়া কাজ করার ক্ষমতা দেয়:
- একটি ওয়েবসাইটের একটি সম্পূর্ণ অনুলিপি ডাউনলোড করা হচ্ছে
- একটি ওয়েবসাইট থেকে একটি নির্দিষ্ট ফাইল ডাউনলোড করা
- চাহিদা অনুযায়ী একটি ফাইল পুনরুদ্ধার স্বয়ংক্রিয়করণ
- একটি প্রমাণীকরণ পোর্টাল থেকে একটি নথি প্রাপ্ত করা
বেশিরভাগ লিনাক্স ডিস্ট্রোতেও wget তৈরি করা হয়েছে, তাই এটি শুরু থেকেই উপলব্ধ, এবং আর কোন ইনস্টলেশনের প্রয়োজন নেই।
wget বেসিক
wget দিয়ে শুরু করা মোটামুটি সহজ। প্রথমে একটি লিনাক্স টার্মিনাল খুলুন।
একবার একটি টার্মিনাল উইন্ডো খোলা হলে, আপনি নিচের মত wget চালাতে পারেন:
wget URL
ওয়েবসাইটের সঠিক URL দিয়ে “URL” প্রতিস্থাপন করুন।
একটি আংশিক ডাউনলোড করা ফাইল পুনরায় চালু করতে, একটি -c ব্যবহার করুন নিম্নরূপ আপনার কমান্ড স্যুইচ করুন:
wget -c URL
আপনার wget ডাউনলোড নীরব করতে, -q যোগ করুন আপনার প্রাথমিক wget কমান্ডে স্যুইচ করুন:
wget -q URL
আপনি wget-এর মধ্যে বিকল্পগুলির সঠিক ব্যবহার সম্পর্কে নিশ্চিত না হলে, নিম্নলিখিতগুলি ব্যবহার করুন:
wget --help
ওয়েবসাইট ছাড়াও, আপনি wget ব্যবহার করে একটি ফাইল ডাউনলোড করতে পারেন। যেমন:
wget https://example.com/file.zip
এটি কেবল ফাইলটি ধরবে এবং বর্তমান ডিরেক্টরিতে সংরক্ষণ করবে৷
৷
আপনি যদি একটি ভিন্ন ফাইলের নাম বা ভিন্ন অবস্থানে সংরক্ষণ করতে চান, তাহলে -O ব্যবহার করুন পতাকা৷
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
FTP বিকল্পগুলি
আগেই উল্লেখ করা হয়েছে, wget FTP সমর্থন করে। আপনি যদি শুধু একটি FTP সাইট নির্দিষ্ট করেন:
wget ftp://ftp.example.com
wget ধরে নিবে আপনি একটি বেনামী লগইন চান। বিকল্পভাবে, আপনি ম্যানুয়ালি নিম্নলিখিত পতাকাগুলির সাথে ব্যবহারকারীর নাম এবং পাসওয়ার্ডের মতো জিনিসগুলি নির্দিষ্ট করতে পারেন:
--ftp-user=USER:লগইনের জন্য ব্যবহারকারীর নাম নির্দিষ্ট করে--ftp-password=PASS:পাসওয়ার্ড নির্দিষ্ট করে--no-passive-ftp:নিষ্ক্রিয় স্থানান্তর মোড নিষ্ক্রিয় করে
টাইমআউট, পুনরায় চেষ্টা, এবং ব্যর্থ ডাউনলোডগুলি
অবশেষে, wget সার্ভার সংযোগ সমস্যা এবং টাইমআউট সম্পর্কিত বিভিন্ন বিকল্পের সাথে আসে। অবশ্যই সমস্ত ব্যর্থতা মোকাবেলা করা যায় না, তবে নিম্নলিখিত ফ্ল্যাগগুলি সার্ভারের সমস্যাগুলি মোকাবেলায় সহায়তা করার উদ্দেশ্যে তৈরি করা হয়েছে:
--tries=NUMBER:বারবার ডাউনলোড করার চেষ্টা করার সংখ্যা নির্দিষ্ট করে--retry-connrefused:সার্ভার দ্বারা সংযোগ প্রত্যাখ্যান করা হলেও ডাউনলোডের পুনরায় চেষ্টা করে--timeout=SECONDS:গ্লোবাল সেটিং – টাইমআউটের আগে কতক্ষণ অপেক্ষা করতে হবে--wait=SECONDS:সফল ডাউনলোডের মধ্যে কতক্ষণ অপেক্ষা করতে হবে (যদি পুনরাবৃত্তি হয়)
কে wget ব্যবহার করবে?
এই পোস্টটি পড়ার সময়, আপনি হয়তো ভাবছেন, "এটি একটি ওয়েব ব্রাউজার ব্যবহার করার চেয়ে জটিল এবং অনেক বেশি কঠিন বলে মনে হচ্ছে," কিন্তু যে কেউ এই ইউটিলিটির জন্য একটি ব্যবহার খুঁজে পেতে পারেন, তা সিস্টেম অ্যাডমিন বা প্রোগ্রামার হিসাবেই হোক না কেন। আমি কিভাবে আমার সারাদিন এই কমান্ডটি ব্যবহার করি তার দুটি উদাহরণ নিচে দেওয়া হল, আমার ভূমিকা মাঝে মাঝে পরিবর্তিত হয়৷
এটি নিরাপত্তা গবেষক হিসাবে আমার কাজকে সহজ করে তোলে কারণ আমি এই কমান্ডটি একবারে একাধিক ওয়েবসাইট ডাউনলোড করার জন্য সময় নির্ধারণ করতে পারি। আমি একটি টেক্সট ফাইল তৈরি করে এটি করতে পারি (যেকোন টেক্সট এডিটর ব্যবহার করে) যাতে একটি তালিকায় অনেকগুলি URL রয়েছে (প্রতি লাইনে একটি URL)। নিচের কমান্ডটি -i দিয়ে কার্যকর করার মাধ্যমে switch, wget তালিকার প্রতিটি ওয়েবসাইট ডাউনলোড করবে।
wget -i download_file_name URL
একটি সিস্টেম প্রশাসক হিসাবে, আমি সহজে পাসওয়ার্ড-সুরক্ষিত অবস্থান থেকে নথি পেতে পারি। এটি আপনাকে অফলাইনেও সাহায্য নাও করতে পারে, তবে wget চালানোর মাধ্যমে এটি আপনাকে একটি সাইটে শংসাপত্র যোগ করার অনুমতি দেয়৷
wget --user=user_id --password=user_password URL
সেখানে আপনি এটা আছে! আপনি ভেবেছিলেন হিসাবে এটি কঠিন ছিল? wget এর মাধ্যমে আপনার ক্রিয়াগুলি স্বয়ংক্রিয় করতে সক্ষম হওয়া আপনার সময় বাঁচাবে এবং আপনাকে অফলাইনেও কাজ করার ক্ষমতা দেবে। আপনার কি হারাতে হবে?
নীচে একটি মন্তব্য করুন এবং আপনি এটি দরকারী বলে মনে করেন কিনা তা আমাদের জানান৷
