ওয়েব স্ক্র্যাপিং হলো একটি ওয়েবসাইট থেকে ডেটা, ইনফরমেশন বা ইমেজ একটি অটোমেটেড মেথড দিয়ে এক্সট্রাক্ট করা। এটাকে ফুল অটোমেটিক কপি-পেস্ট বলা যেতে পারে।
আমরা إما একটি অ্যাপ লিখি বা ব্যবহার করি যা আমাদের পছন্দের ওয়েবসাইটগুলোর ভিতরে যেতে এবং সেখান থেকে আমাদের প্রয়োজনীয় নির্দিষ্ট জিনিসগুলো কপি করতে। এটি পুরো ওয়েবসাইট ডাউনলোড করার চেয়ে অনেক বেশি প্রিসাইজ।
যেকোনো টুলের মত, ওয়েব স্ক্র্যাপিং ভালো বা মন্দ কাজে লাগানো যায়। ওয়েবসাইট স্ক্র্যাপ করার কিছু ভালো কারণ হলো: এর কন্টেন্টের ভিত্তিতে সার্চ ইঞ্জিনে র্যাঙ্ক করা, দাম তুলনা করে কেনাকাটা, বা শেয়ার বাজারের ইনফরমেশন মনিটর করা। আপনি এটি একটি রিসার্চ টুল হিসেবেও ব্যবহার করতে পারেন।
এক্সেল দিয়ে ওয়েবসাইট কীভাবে স্ক্র্যাপ করব?
বিশ্বাস করা কঠিন হলেও, এক্সেলে অনেক আগে থেকেই ওয়েবসাইট থেকে ডেটা এক্সট্রাক্ট করার ক্ষমতা রয়েছে, কমপক্ষে এক্সেল ২০০৩ থেকে। শুধু ওয়েব স্ক্র্যাপিং একটা জিনিস যা অধিকাংশ মানুষ ভাবেনা, শুধু এক্সেল দিয়ে কাজ করায় ভাবেনা। কিন্তু এটা আশ্চর্য সহজ এবং পাওয়ারফুল। চলে শিখি কিভাবে করা যায়, মাইক্রোসফট অফিস কীবোর্ড শর্টকাটের একটি সংগ্রহ তৈরি করে।
স্ক্র্যাপ করতে চাওয়া সাইটগুলো খুঁজুন
প্রথমে আমরা সেগুলো নির্দিষ্ট ওয়েব পেজ খুঁজব যেখান থেকে আমরা ইনফরমেশন চাই। সোর্সে যান https://support.office.com/। আমরা সার্চ টার্ম ব্যবহার করব "frequently used shortcuts"। এটাকে আরও স্পেসিফিক করতে পারি স্পেসিফিক অ্যাপের নাম দিয়ে, যেমন আউটলুক, এক্সেল, ওয়ার্ড, ইত্যাদি। রিজাল্টস পেজ বুকমার্ক করে রাখা ভালো যাতে সহজে ফিরে যাওয়া যায়।
"Keyboard shortcuts in Excel for Windows" সার্চ রিজাল্টে ক্লিক করুন। সেখানে এক্সেল ভার্সনের তালিকা পাওয়া যাবে, Newer Versions এ ক্লিক করুন। এখন আমরা লেটেস্ট ভার্সনে কাজ করছি।
আমরা সার্চ রিজাল্টস পেজে ফিরে যেতে পারি এবং অন্যান্য অফিস অ্যাপের রিজাল্টগুলো নিজস্ব ট্যাবে খুলে বুকমার্ক করতে পারি। এটা ভালো আইডিয়া, এই এক্সারসাইজের জন্যও। অধিকাংশ মানুষ অফিস শর্টকাট সংগ্রহে এখানেই থেমে যায়, কিন্তু আমরা নয়। আমরা সেগুলো এক্সেলে রাখব যাতে আমরা চাওয়া সময় চাওয়া মত সেগুলো ব্যবহার করতে পারি।
এক্সেল খুলুন এবং স্ক্র্যাপ করুন
এক্সেল খুলুন এবং একটি নতুন ওয়ার্কবুক শুরু করুন। ওয়ার্কবুকটি Office Shortcuts নামে সেভ করুন। আপনার যদি OneDrive থাকে, তবে সেখানে সেভ করুন যাতে AutoSave ফিচার কাজ করে।
ওয়ার্কবুক সেভ হলে Data ট্যাবে ক্লিক করুন।
Data ট্যাবের রিবনে From Web এ ক্লিক করুন।
From Web উইজার্ড উইন্ডো খুলবে। এখানে আমরা ওয়েবসাইটের অ্যাড্রেস বা URL দিব যেখান থেকে ডেটা স্ক্র্যাপ করব। আপনার ওয়েব ব্রাউজারে যান এবং URL কপি করুন।
From Web উইজার্ডের URL ফিল্ডে URL পেস্ট করুন। আমরা Basic বা Advanced মোডে এটি ব্যবহার করতে পারি। Advanced মোড আপনাকে ওয়েবসাইট থেকে ডেটা অ্যাক্সেস করার অনেক বেশি অপশন দেয়। এই এক্সারসাইজের জন্য Basic মোডই পর্যাপ্ত। OK ক্লিক করুন।
এক্সেল এখন ওয়েবসাইটের সাথে কানেক্ট করার চেষ্টা করবে। এতে কিছু সেকেন্ড লাগতে পারে। যদি লাগে তবে আমরা একটি প্রগ্রেস উইন্ডো দেখব।
Navigator উইন্ডো খুলবে, এবং বাম পাশে ওয়েবসাইট থেকে টেবিলের তালিকা দেখাবে। আমরা যেটি সিলেক্ট করব, ডান পাশে সেটির টেবিল প্রিভিউ দেখাবে। আসুন Frequently used shortcuts টেবিলটি সিলেক্ট করি।
আমরা Web View ট্যাবে ক্লিক করে আসল ওয়েবসাইট দেখতে পারি, যদি আমাদের পছন্দের টেবিল খুঁজতে হয়। পাওয়া গেলে, সেটিতে ক্লিক করলে সেটি ইম্পোর্টের জন্য সিলেক্ট হয়ে যাবে।
এখন, উইন্ডোর নিচে Load বাটনে ক্লিক করুন। অন্যান্য অপশনও রয়েছে, যা আরও জটিল এবং আমাদের প্রথম স্ক্র্যাপের সুযোগের বাইরে। শুধু জানুন যে সেগুলো রয়েছে। এক্সেলের ওয়েব স্ক্র্যাপিং ক্ষমতা খুব পাওয়ারফুল।
কয়েক সেকেন্ড পর ওয়েব টেবিল এক্সেলে লোড হয়ে যাবে। আমরা বাম পাশে ডেটা দেখব, যেখানে ছবিতে নম্বর ১ দেখানো হয়েছে। নম্বর ২ হাইলাইট করেছে Query টি যা ওয়েবসাইট থেকে ডেটা আনতে ব্যবহৃত হয়েছে। আমাদের ওয়ার্কবুকে একাধিক কোয়েরি থাকলে, ইহান থেকে আমরা যে কোয়েরি ব্যবহার করতে চাই সেটি সিলেক্ট করব।
লক্ষ্য করুন ডেটা এক্সেল টেবিল হিসেবে আসছে। এটি ইতিমধ্যে ফিল্টার বা সোর্ট করার জন্য সেট আপ করা থাকছে।
আমরা এই প্রক্রিয়াটি অন্যান্য ওয়েব পেজের জন্যও রিপিট করতে পারি যেগুলোতে আমাদের পছন্দের অফিস শর্টকাট রয়েছে আউটলুক, ওয়ার্ড, অ্যাক্সেস, পাওয়ারপয়েন্ট এবং অন্য কোনো অফিস অ্যাপের জন্য।
এক্সেলে স্ক্র্যাপড ডেটা আপ-টু-ডেট রাখা
বোনাস হিসেবে, আমরা শিখব এক্সেলে আমাদের স্ক্র্যাপড ডেটা কীভাবে তাজা রাখা যায়। এটি এক্সেল কত পাওয়ারফুল ডেটা স্ক্র্যাপিং এর জন্য সেটি বোঝাতে একটি চমৎকার উপায়। এটাও আমরা এক্সেল যা করতে পারে তার সবচেয়ে বেসিক স্ক্র্যাপিং করছি।
এই উদাহরণের জন্য, আসুন একটি স্টক ইনফরমেশন ওয়েব পেজ ব্যবহার করি যেমন https://www.cnbc.com/stocks/।
আগের মত করুন এবং এড্রেস बार থেকে নতুন URL কপি পেস্ট করুন।
আপনি Navigator উইন্ডোতে পৌঁছাবেন এবং উপলব্ধ টেবিলগুলো দেখবেন। আসুন Major U.S. Stock Indices সিলেক্ট করি।
ডেটা স্ক্র্যাপ হলে নিচের স্প্রেডশিটটি দেখাব।
ডান পাশে, Major U.S. Stock Indexes-এর কোয়েরিটি দেখাচ্ছে। সেটি সিলেক্ট করুন যাতে হাইলাইট হয়। নিশ্চিত করুন আমরা Table Tools ট্যাবে এবং Design এরিয়ায় আছি। তারপর Refresh এর নিচে ডাউন অ্যারো ক্লিক করুন। তারপর Connection Properties ক্লিক করুন।
Query Properties উইন্ডোতে, Usage ট্যাবের অধীনে, আমরা এই ইনফরমেশন কীভাবে রিফ্রেশ হবে সেটি কন্ট্রোল করতে পারি। আমরা একটি নির্দিষ্ট সময় পর্যায়ে রিফ্রেশ সেট করতে পারি, অথবা আগামীবার ওয়ার্কবুক খোলার সময় রিফ্রেশ, অথবা ব্যাকগ্রাউন্ডে রিফ্রেশ, অথবা এগুলোর যেকোনো কম্বিনেশন। আমাদের প্রয়োজনীয় অপশন বেছে নিয়ে OK ক্লিক করুন উইন্ডো বন্ধ করে চালিয়ে যেতে।
বস! এখন আপনি এক্সেল স্প্রেডশিট থেকে স্টক প্রাইস, স্পোর্টস স্কোর, বা অন্য যেকোনো ঘন ঘন পরিবর্তনশীল ডেটা ট্র্যাক করতে পারেন। আপনি যদি এক্সেল ইকুয়েশন ও ফাংশনে ভালো হন, তবে আপনি ডেটার সাথে প্রায় যা ইচ্ছে করতে পারেন।
হয়তো স্টক ট্রেন্ড চেনার চেষ্টা করুন, অফিসে ফ্যান্টাসি স্পোর্টস পুল চালান, বা শুধু আবহাওয়া ট্র্যাক করুন। কে জানে? আপনার কল্পনাশক্তি এবং ইন্টারনেটে উপলব্ধ ডেটা, এদেরই একমাত্র সীমা।
