মাস্টারিং wget:15 শক্তিশালী ডাউনলোড উদাহরণ

wget ইউটিলিটি ইন্টারনেট থেকে ফাইল ডাউনলোড করার সেরা বিকল্প। বড় ফাইল ডাউনলোড, রিকার্সিভ ডাউনলোড, নন-ইন্টারেক্টিভ ডাউনলোড, একাধিক ফাইল ডাউনলোড ইত্যাদি সহ wget সমস্ত জটিল ডাউনলোড পরিস্থিতি মোটামুটিভাবে পরিচালনা করতে পারে।

এই নিবন্ধে আসুন কিভাবে wget ব্যবহার করতে হয় তা পর্যালোচনা করি 15টি দুর্দান্ত wget উদাহরণ ব্যবহার করে বিভিন্ন ডাউনলোডের পরিস্থিতির জন্য।

1. wget

নিম্নলিখিত উদাহরণটি ইন্টারনেট থেকে একটি একক ফাইল ডাউনলোড করে এবং বর্তমান ডিরেক্টরিতে সঞ্চয় করে৷

$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

ডাউনলোড করার সময় এটি নিম্নলিখিত তথ্য সহ একটি অগ্রগতি বার দেখাবে:

• % ডাউনলোড সমাপ্তির বয়স (যেমন নীচে দেখানো হিসাবে 31%)
• এখন পর্যন্ত মোট বাইট ডাউনলোড করা হয়েছে (যেমন 1,213,592 বাইট নীচে দেখানো হয়েছে)
• বর্তমান ডাউনলোড গতি (উদাহরণস্বরূপ, নীচে দেখানো হিসাবে 68.2K/s)
• ডাউনলোড করার বাকি সময় (উদাহরণস্বরূপ, নীচে দেখানো হিসাবে 34 সেকেন্ড)

ডাউনলোড চলছে:

$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Saving to: `strx25-0.9.2.1.tar.bz2.1'
31% [=================> 1,213,592 68.2K/s eta 34s

ডাউনলোড সম্পন্ন হয়েছে:

$ wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Saving to: `strx25-0.9.2.1.tar.bz2'
100%[======================>] 3,852,374 76.8K/s in 55s 
2009-09-25 11:15:30 (68.7 KB/s) - `strx25-0.9.2.1.tar.bz2' saved [3852374/3852374]

2. wget -O

ডিফল্টরূপে wget শেষ ফরোয়ার্ড স্ল্যাশের পরে শেষ শব্দ থেকে ফাইলের নাম বাছাই করবে, যা সবসময় উপযুক্ত নাও হতে পারে।

ভুল: নিম্নলিখিত উদাহরণটি নাম সহ ফাইলটি ডাউনলোড এবং সংরক্ষণ করবে:download_script.php?src_id=7701

$ wget http://www.vim.org/scripts/download_script.php?src_id=7701

ডাউনলোড করা ফাইলটি জিপ ফরম্যাটে থাকলেও, নিচের চিত্রের মতো ফাইলে সংরক্ষণ করা হবে।

$ ls
download_script.php?src_id=7701

সঠিক: এই সমস্যাটি সংশোধন করতে, আমরা -O বিকল্পটি ব্যবহার করে আউটপুট ফাইলের নাম নির্দিষ্ট করতে পারি:

$ wget -O taglist.zip http://www.vim.org/scripts/download_script.php?src_id=7701

3. wget –limit-rate

wget চালানোর সময়, ডিফল্টরূপে এটি সম্পূর্ণ সম্ভাব্য ব্যান্ডউইথ দখল করার চেষ্টা করবে। আপনি যখন উত্পাদন সার্ভারে বিশাল ফাইল ডাউনলোড করছেন তখন এটি গ্রহণযোগ্য নাও হতে পারে। সুতরাং, এটি এড়াতে আমরা নীচের দেখানো হিসাবে –সীমা-হার ব্যবহার করে ডাউনলোডের গতি সীমিত করতে পারি।

নিম্নলিখিত উদাহরণে, ডাউনলোডের গতি 200k

$ wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

4. wget -c

নীচে দেখানো হিসাবে wget -c বিকল্প ব্যবহার করে মাঝখানে বন্ধ হয়ে যাওয়া একটি ডাউনলোড পুনরায় চালু করুন।

$ wget -c http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

এটি খুব সহায়ক যখন আপনি একটি খুব বড় ফাইল ডাউনলোড শুরু করেন যা মাঝখানে বাধাপ্রাপ্ত হয়। সম্পূর্ণ ডাউনলোড আবার শুরু করার পরিবর্তে, আপনি বিকল্পটি ব্যবহার করে ডাউনলোড শুরু করতে পারেন যেখান থেকে এটি বাধাগ্রস্ত হয়েছে -c

দ্রষ্টব্য: যদি মাঝখানে একটি ডাউনলোড বন্ধ হয়ে যায়, আপনি যখন -c বিকল্প ছাড়াই আবার ডাউনলোড পুনরায় চালু করবেন, wget ফাইলের নামের সাথে স্বয়ংক্রিয়ভাবে .1 যুক্ত করবে কারণ আগের নামের একটি ফাইল ইতিমধ্যেই বিদ্যমান। যদি .1 এর সাথে একটি ফাইল ইতিমধ্যেই বিদ্যমান থাকে তবে এটি শেষে .2 সহ ফাইলটি ডাউনলোড করবে।

5. wget -b

একটি বিশাল ডাউনলোডের জন্য, নিচের মত wget অপশন -b ব্যবহার করে ডাউনলোডটিকে ব্যাকগ্রাউন্ডে রাখুন।

$ wget -b http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
Continuing in background, pid 1984.
Output will be written to `wget-log'.

এটি ডাউনলোড শুরু করবে এবং আপনাকে শেল প্রম্পট ফিরিয়ে দেবে। আপনি সর্বদা নিচে দেখানো হিসাবে tail -f ব্যবহার করে ডাউনলোডের স্থিতি পরীক্ষা করতে পারেন।

$ tail -f wget-log
Saving to: `strx25-0.9.2.1.tar.bz2.4'
 0K .......... .......... .......... .......... .......... 1% 65.5K 57s
 50K .......... .......... .......... .......... .......... 2% 85.9K 49s
 100K .......... .......... .......... .......... .......... 3% 83.3K 47s
 150K .......... .......... .......... .......... .......... 5% 86.6K 45s
 200K .......... .......... .......... .......... .......... 6% 33.9K 56s
 250K .......... .......... .......... .......... .......... 7% 182M 46s
 300K .......... .......... .......... .......... .......... 9% 57.9K 47s

এছাড়াও, একাধিক ফাইল দেখতে কীভাবে কার্যকরভাবে টেল কমান্ড ব্যবহার করতে হয় সে সম্পর্কে আমাদের পূর্ববর্তী মাল্টিটেল নিবন্ধটি পর্যালোচনা করতে ভুলবেন না।

6. মাস্ক ইউজার এজেন্ট এবং ডিসপ্লে উইজেট যেমন ব্রাউজার ব্যবহার করে wget –user-agent

কিছু ওয়েবসাইট ব্যবহারকারী এজেন্ট ব্রাউজার নয় তা শনাক্ত করে এর পৃষ্ঠা ডাউনলোড করতে আপনাকে অনুমতি দিতে পারে না। তাই আপনি –user-agent অপশন ব্যবহার করে ইউজার এজেন্টকে মাস্ক করতে পারেন এবং নিচের মত ব্রাউজারের মত wget দেখাতে পারেন।

$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

7. wget –স্পাইডার

আপনি যখন নির্ধারিত ডাউনলোড করতে যাচ্ছেন, তখন আপনাকে পরীক্ষা করা উচিত যে ডাউনলোডটি নির্ধারিত সময়ে ঠিক হবে কি না। এটি করার জন্য, সময়সূচী থেকে ঠিক লাইনটি অনুলিপি করুন এবং তারপরে চেক করতে –স্পাইডার বিকল্প যোগ করুন।

$ wget --spider DOWNLOAD-URL

প্রদত্ত URL সঠিক হলে, এটি বলবে

$ wget --spider download-url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

এটি নিশ্চিত করে যে ডাউনলোডিং নির্ধারিত সময়ে সফল হবে। কিন্তু যখন আপনি একটি ভুল URL দিয়েছেন, আপনি নিম্নলিখিত ত্রুটি পাবেন৷

$ wget --spider download-url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!

আপনি নিম্নলিখিত পরিস্থিতিতে স্পাইডার বিকল্পটি ব্যবহার করতে পারেন:

• একটি ডাউনলোড শিডিউল করার আগে চেক করুন৷
৷
• কিছু নির্দিষ্ট বিরতিতে ওয়েবসাইট উপলব্ধ আছে কি না তা পর্যবেক্ষণ করা।
• আপনার বুকমার্ক থেকে পৃষ্ঠাগুলির একটি তালিকা পরীক্ষা করুন এবং কোন পৃষ্ঠাগুলি এখনও বিদ্যমান তা খুঁজে বের করুন৷

8. wget –tries

ইন্টারনেট সংযোগে সমস্যা থাকলে এবং ডাউনলোড ফাইল বড় হলে ডাউনলোডে ব্যর্থতার সম্ভাবনা থাকে। ডিফল্টরূপে wget ডাউনলোড সফল করতে 20 বার পুনরায় চেষ্টা করে।

যদি প্রয়োজন হয়, আপনি নীচে দেখানো হিসাবে –ট্রাইস বিকল্প ব্যবহার করে পুনরায় চেষ্টা করার প্রচেষ্টা বাড়াতে পারেন।

$ wget --tries=75 DOWNLOAD-URL

9. Wget -i

প্রথমত, সমস্ত ডাউনলোড ফাইল বা URL একটি টেক্সট ফাইলে এইভাবে সংরক্ষণ করুন:

$ cat > download-file-list.txt
URL1
URL2
URL3
URL4

এর পরে, নিচে দেখানো হিসাবে -i বিকল্প ব্যবহার করে wget-এর আর্গুমেন্ট হিসেবে download-file-list.txt দিন।

$ wget -i download-file-list.txt

10. wget –mirror

আপনি একটি সম্পূর্ণ ওয়েবসাইট ডাউনলোড করতে এবং স্থানীয় দেখার জন্য উপলব্ধ করার সময় আপনি যে কমান্ড লাইনটি চালাতে চান তা নিম্নোক্ত করা হল৷

$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

• -মিরর:মিরর করার জন্য উপযুক্ত বিকল্পগুলি চালু করুন।
• -p :প্রদত্ত HTML পৃষ্ঠা সঠিকভাবে প্রদর্শনের জন্য প্রয়োজনীয় সমস্ত ফাইল ডাউনলোড করুন।
• –convert-links :ডাউনলোড করার পরে, স্থানীয় দেখার জন্য নথিতে লিঙ্কগুলিকে রূপান্তর করুন৷
• -P ./LOCAL-DIR :নির্দিষ্ট ডিরেক্টরিতে সমস্ত ফাইল এবং ডিরেক্টরি সংরক্ষণ করুন৷

11. wget –reject

আপনি একটি ওয়েবসাইট খুঁজে পেয়েছেন যা উপযোগী, কিন্তু আপনি নিম্নলিখিতগুলি নির্দিষ্ট করতে পারেন এমন ছবিগুলি ডাউনলোড করতে চান না৷

$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

12. wget -o

যখন আপনি লগটিকে টার্মিনালের পরিবর্তে একটি লগ ফাইলে পুনঃনির্দেশিত করতে চান।

$ wget -o download.log DOWNLOAD-URL

13. wget -Q

যখন আপনি ডাউনলোড বন্ধ করতে চান যখন এটি 5 MB অতিক্রম করে তখন আপনি নিম্নলিখিত wget কমান্ড লাইনটি ব্যবহার করতে পারেন৷

$ wget -Q5m -i FILE-WHICH-HAS-URLS

দ্রষ্টব্য: আপনি যখন একটি ইউআরএল ডাউনলোড করবেন তখন এই কোটা কার্যকর হবে না। এটি কোটার আকার নির্বিশেষে যখন আপনি একটি ফাইল নির্দিষ্ট করেন তখন সবকিছু ডাউনলোড হয়ে যাবে। এই কোটা শুধুমাত্র পুনরাবৃত্ত ডাউনলোডের জন্য প্রযোজ্য৷

14. wget -r -A

আপনি নিম্নলিখিত পরিস্থিতিতে এটি ব্যবহার করতে পারেন:

• একটি ওয়েবসাইট থেকে সমস্ত ছবি ডাউনলোড করুন
• একটি ওয়েবসাইট থেকে সমস্ত ভিডিও ডাউনলোড করুন
• একটি ওয়েবসাইট থেকে সমস্ত PDF ফাইল ডাউনলোড করুন

$ wget -r -A.pdf http://url-to-webpage-with-pdfs/

15. Wget দিয়ে FTP ডাউনলোড করুন

আপনি নীচে দেখানো হিসাবে FTP ডাউনলোড সম্পাদন করতে wget ব্যবহার করতে পারেন৷

Wget

$ wget ftp-url

ব্যবহারকারীর নাম এবং পাসওয়ার্ড প্রমাণীকরণ সহ wget ব্যবহার করে FTP ডাউনলোড করুন।

$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

আপনি যদি এই নিবন্ধটি পছন্দ করেন, অনুগ্রহ করে এটিকে সুস্বাদু বা হোঁচট দিয়ে বুকমার্ক করুন৷৷