wget ইউটিলিটি ইন্টারনেট থেকে ফাইল ডাউনলোড করার সেরা অপশন। wget প্রায় সব জটিল ডাউনলোড সিচুয়েশন হ্যান্ডল করতে পারে যার মধ্যে বড় ফাইল ডাউনলোড, রিকার্সিভ ডাউনলোড, নন-ইন্টারেক্টিভ ডাউনলোড, একাধিক ফাইল ডাউনলোড ইত্যাদি রয়েছে।
এই আর্টিকেলে আমরা রিভিউ করব কিভাবে wget বিভিন্ন ডাউনলোড সিনেরিওর জন্য ব্যবহার করতে হয় ১৫টি অসাধারণ wget উদাহরণ দিয়ে।
১. wget দিয়ে সিঙ্গেল ফাইল ডাউনলোড
নিচের উদাহরণ ইন্টারনেট থেকে একটি সিঙ্গেল ফাইল ডাউনলোड করে এবং কারেন্ট ডিরেক্টরিতে স্টোর করে।
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
ডাউনলোড করার সময় এটি একটি প্রগ্রেস বার দেখাবে নিচের ইনফরমেশনসহ:
- ডাউনলোড কমপ্লিশন % (যেমন নিচে ৩১% দেখানো হয়েছে)
- এখন পর্যন্ত ডাউনলোড করা টোটাল বাইট (যেমন নিচে 1,213,592 বাইট)
- কারেন্ট ডাউনলোড স্পিড (যেমন নিচে 68.2K/s)
- ডাউনলোড কমপ্লিট হওয়ার বাকি টাইম (যেমন নিচে eta 34 সেকেন্ড)
ডাউনলোড চলছে:
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2.1' 31% [=================> 1,213,592 68.2K/s eta 34s
ডাউনলোড কমপ্লিট:
$ wget https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Saving to: `strx25-0.9.2.1.tar.bz2' 100%[======================>] 3,852,374 76.8K/s in 55s 2009-09-25 11:15:30 (68.7 KB/s) - `strx25-0.9.2.1.tar.bz2' saved [3852374/3852374]
২. wget -O ব্যবহার করে ভিন্ন ফাইল নেমে ডাউনলোড ও স্টোর করুন
ডিফল্টভাবে wget লাস্ট ফরওয়ার্ড স্ল্যাশের পরের লাস্ট ওয়ার্ড থেকে ফাইল নেম নেয়, যা সবসময় উপযুক্ত নাও হতে পারে।
ভুল: নিচের উদাহরণ ফাইলটি ডাউনলোড করবে এবং নেম দেবে: download_script.php?src_id=7701
$ wget https://www.vim.org/scripts/download_script.php?src_id=7701
যদিও ডাউনলোড করা ফাইলটি জিপ ফরম্যাটে, এটি নিচে দেখানো ফাইল নেমে স্টোর হবে।
$ ls download_script.php?src_id=7701
সঠিক: এই ইস্যু ফিক্স করতে, আউটপুট ফাইল নেম -O অপশন দিয়ে স্পেসিফাই করুন:
$ wget -O taglist.zip https://www.vim.org/scripts/download_script.php?src_id=7701
৩. wget –limit-rate ব্যবহার করে ডাউনলোড স্পিড/রেট সেট করুন
wget এক্সিকিউট করার সময়, ডিফল্টভাবে এটি পুরো সম্ভাব্য ব্যান্ডউইথ অক্যুপা করতে চায়। প্রোডাকশন সার্ভারে বড় ফাইল ডাউনলোড করার সময় এটি এক্সেপ্টেবল নাও হতে পারে। তাই, এড়াতে আমরা ডাউনলোড স্পিড লিমিট করতে পারি –limit-rate ব্যবহার করে নিচে দেখানো পদ্ধতিতে।
নিচের উদাহরণে, ডাউনলোড স্পিড ২০০k-এ লিমিট করা হয়েছে
$ wget --limit-rate=200k https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
৪. wget -c ব্যবহার করে অসম্পূর্ণ ডাউনলোড কন্টিনিউ করুন
মাঝপথে রুকে যাওয়া ডাউনলোড রিস্টার্ট করুন wget -c অপশন ব্যবহার করে নিচে দেখানো পদ্ধতিতে।
$ wget -c https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
এটি খুব উপকারী যখন আপনি একটি বড় ফাইল ডাউনলোড শুরু করেছেন যা মাঝপথে ইন্টারাপ্ট হয়েছে। পুরো ডাউনলোড আবার শুরু না করে, আপনি যেখানে ইন্টারাপ্ট হয়েছিল সেখান থেকে ডাউনলোড শুরু করতে পারেন -c অপশন ব্যবহার করে।
নোট: যদি ডাউনলোড মাঝপথে রুক जाये, এবং আপনি -c অপশন ছাড়া আবার ডাউনলোড শুরু করেন, wget অটোমেটিক্যালি ফাইল নেমে .1 অ্যাপেন্ড করবে কারণ পুরনো নামে ফাইল ইতিমধ্যে আছে। যদি .1 ফাইল ইতিমধ্যে থাকে, তবে .2 দিয়ে ডাউনলোড করবে।
৫. wget -b ব্যবহার করে ব্যাকগ্রাউন্ডে ডাউনলোড করুন
বড় ডাউনলোডের জন্য, ডাউনলোড ব্যাকগ্রাউন্ডে রাখুন wget -b অপশন ব্যবহার করে নিচে দেখানো পদ্ধতিতে।
$ wget -b https://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 Continuing in background, pid 1984. Output will be written to `wget-log'.
এটি ডাউনলোড শুরু করবে এবং আপনাকে শেল প্রম্পট ফেরত দেবে। আপনি সবসময় tail -f ব্যবহার করে ডাউনলোড স্ট্যাটাস চেক করতে পারেন নিচে দেখানো পদ্ধতিতে।
$ tail -f wget-log Saving to: `strx25-0.9.2.1.tar.bz2.4' 0K .......... .......... .......... .......... .......... 1% 65.5K 57s 50K .......... .......... .......... .......... .......... 2% 85.9K 49s 100K .......... .......... .......... .......... .......... 3% 83.3K 47s 150K .......... .......... .......... .......... .......... 5% 86.6K 45s 200K .......... .......... .......... .......... .......... 6% 33.9K 56s 250K .......... .......... .......... .......... .......... 7% 182M 46s 300K .......... .......... .......... .......... .......... 9% 57.9K 47s
এছাড়া, আমাদের আগের multitail আর্টিকেল রিভিউ করুন কিভাবে tail কমান্ড ইফেক্টিভলি ব্যবহার করতে হয় একাধিক ফাইল ভিউ করার জন্য।
৬. wget –user-agent ব্যবহার করে ইউজার এজেন্ট মাস্ক করুন এবং wget কে ব্রাউজাররূপে দেখান
কিছু ওয়েবসাইট আপনাকে তার পেজ ডাউনলোড করতে দেয় না ইউজার এজেন্ট ব্রাউজার নয় সেটি চিনে। তাই আপনি –user-agent অপশন ব্যবহার করে ইউজার এজেন্ট মাস্ক করতে পারেন এবং wget কে ব্রাউজাররূপে দেখাতে পারেন নিচে দেখানো পদ্ধতিতে।
$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
৭. wget –spider ব্যবহার করে ডাউনলোড URL টেস্ট করুন
যখন আপনি শিডিউলড ডাউনলোড করতে যাচ্ছেন, তবে আপনি চেক করবেন শিডিউলড টাইমে ডাউনলোড ঠিকমতো হবে কিনা। সেটি করতে, শিডিউল থেকে লাইনটি এক্স্যাক্টলি কপি করুন, এবং তারপর –spider অপশন যোগ করুন চেক করার জন্য।
$ wget --spider DOWNLOAD-URL
যদি দেওয়া URL সঠিক হয়, তবে এটি বলবে
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving.
এটি নিশ্চিত করে যে শিডিউলড টাইমে ডাউনলোড সফল হবে। কিন্তু আপনি যদি ভুল URL দেন, তবে নিচের এরর পাবেন।
$ wget --spider download-url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!
আপনি spider অপশন নিচের সিনেরিওতে ব্যবহার করতে পারেন:
- শিডিউলড ডাউনলোডের আগে চেক করা।
- নির্দিষ্ট ইন্টারভালে ওয়েবসাইট উপলব্ধ কিনা মনিটর করা।
- বুকমার্ক থেকে পেজের লিস্ট চেক করা, এবং খুঁজে বের করা কোন পেজগুলো এখনও আছে।
৮. wget –tries ব্যবহার করে টোটাল রিট্রাই অটেম্প্ট বাড়ান
ইন্টারনেট কানেকশনে সমস্যা থাকলে, এবং ডাউনলোড ফাইল বড় হলে, ডাউনলোডে ফেইল হওয়ার চান্স থাকে। ডিফল্টভাবে wget ২০ বার রিট্রাই করে ডাউনলোড সফল করতে।
প্রয়োজন হলে, আপনি রিট্রাই অটেম্প্ট বাড়াতে পারেন –tries অপশন ব্যবহার করে নিচে দেখানো পদ্ধতিতে।
$ wget --tries=75 DOWNLOAD-URL
৯. Wget -i ব্যবহার করে একাধিক ফাইল/URL ডাউনলোড করুন
প্রথমে, সব ডাউনলোড ফাইল বা URL একটি টেক্সট ফাইলে স্টোর করুন:
$ cat > download-file-list.txt URL1 URL2 URL3 URL4
এরপর, download-file-list.txt কে আর্গুমেন্ট হিসেবে wget-এ -i অপশন দিয়ে দিন নিচে দেখানো পদ্ধতিতে।
$ wget -i download-file-list.txt
১০. wget –mirror ব্যবহার করে পুরো ওয়েবসাইট ডাউনলোড করুন
নিচের কমান্ড লাইনটি এক্সিকিউট করুন যখন আপনি পুরো ওয়েবসাইট ডাউনলোড করে লোকাল ভিউয়িং এর জন্য উপলব্ধ করতে চান।
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
- –mirror : মিররিং-এর জন্য উপযুক্ত অপশনগুলো অন করুন।
- -p : একটি HTML পেজ ঠিকমতো ডিসপ্লে করার জন্য প্রয়োজনীয় সব ফাইল ডাউনলোড করুন।
- –convert-links : ডাউনলোডের পর, ডকুমেন্টের লিঙ্কগুলো লোকাল ভিউয়িং-এর জন্য কনভার্ট করুন।
- -P ./LOCAL-DIR : সব ফাইল এবং ডিরেক্টরি নির্দিষ্ট ডিরেক্টরিতে সেভ করুন।
১১. wget –reject ব্যবহার করে ডাউনলোড করার সময় নির্দিষ্ট ফাইল টাইপ রিজেক্ট করুন
আপনি একটি উপকারী ওয়েবসাইট পেয়েছেন, কিন্তু ইমেজ ডাউনলোড করতে চান না, তবে নিচের কমান্ড দিন।
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED
১২. wget -o ব্যবহার করে লগ মেসেজ লগ ফাইলে রিডাইরেক্ট করুন stderr-এর বদলে
যখন আপনি লগ টার্মিনালের বদলে একটি লগ ফাইলে রিডাইরেক্ট করতে চান।
$ wget -o download.log DOWNLOAD-URL
১৩. wget -Q ব্যবহার করে নির্দিষ্ট সাইজ অতিক্রম করলে ডাউনলোড বন্ধ করুন
যখন আপনি ৫ MB পার হলে ডাউনলোড বন্ধ করতে চান, তবে নিচের wget কমান্ড লাইন ব্যবহার করুন।
$ wget -Q5m -i FILE-WHICH-HAS-URLS
নোট: এই কোটা সিঙ্গেল URL ডাউনলোড করার সময় ইফেক্টিভ হবে না। অর্থাৎ কোটা সাইজ যেন যেন, সব ডাউনলোড হবে যখন আপনি সিঙ্গেল ফাইল স্পেসিফাই করেন। এই কোটা শুধু রিকার্সিভ ডাউনলোডের জন্য প্রযোজ্য।
১৪. wget -r -A ব্যবহার করে শুধু নির্দিষ্ট ফাইল টাইপ ডাউনলোড করুন
আপনি নিচের সিচুয়েশনে এটি ব্যবহার করতে পারেন:
- ওয়েবসাইট থেকে সব ইমেজ ডাউনলোড
- ওয়েবসাইট থেকে সব ভিডিও ডাউনলোড
- ওয়েবসাইট থেকে সব PDF ফাইল ডাউনলোড
$ wget -r -A.pdf https://url-to-webpage-with-pdfs/
১৫. wget দিয়ে FTP ডাউনলোড
আপনি wget ব্যবহার করে FTP ডাউনলোড পারফর্ম করতে পারেন নিচে দেখানো পদ্ধতিতে।
Anonymous FTP ডাউনলোড wget ব্যবহার করে
$ wget ftp-url
বেনামী FTP ডাউনলোড wget ব্যবহার করে ইউজারনেম এবং পাসওয়ার্ড অথেন্টিকেশন সহ।
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
আপনি যদি এই আর্টিকেলটি পছন্দ করেন, দয়া করে delicious বা Stumble-এ বুকмар্ক করুন।
