ফোকাসড ওয়েব ক্রলার: সংজ্ঞা এবং কার্যপদ্ধতি
একটি ফোকাসড ওয়েব ক্রলার হলো একটি হাইপারটেক্সট সিস্টেম যা ইনভেস্টিগেট, একোয়ায়ার, ইনডেক্স এবং সাপোর্ট করে পেজগুলো একটি নির্দিষ্ট সেট অফ সাবজেক্টে যা ওয়েবের একটি আপেক্ষিক ন্যারো সেগমেন্ট ডিফাইন করে। এটি হার্ডওয়্যার এবং ওয়েব রিসোর্সে খুব কম ইনভেস্টমেন্ট চায় এবং যেতোবা রেসপেক্টেবল কভারেজ ম্যানেজ করে একটি কুইক রেটে, শুধু কারণ খুব কম কাজ করতে হয়।
ফোকাসড ওয়েব ক্রলার একটি ক্লাসিফায়ার দ্বারা পরিচালিত হয় যা রিলেভেন্সি চেনা শিখে উদাহরণ থেকে যা একটি টপিক ট্যাক্সোনোমিতে এমবেডেড থাকে, এবং একটি ডিস্টিলার যা ইন্টারনেটে টপিক্যাল ভ্যান্টেজ পয়েন্ট চেনা করে।
ফোকাসড ওয়েব ক্রলার ভার্টিক্যাল সার্চ ইঞ্জিন ব্যবহার করে ওয়েব পেজ ক্রল করতে একটি টার্গেট টপিক স্পেসিফিক। প্রতিটি ফেচড পেজ ক্লাসিফাইড হয় প্রি-ডিফাইনড টার্গেট টপিক(সে)তে। যদি পেজটি প্রেডিক্ট করা হয় অন-টপিক হতে, তাহলে এর লিংকগুলো এক্সট্রাক্ট করা হয় এবং URL কিউতে অ্যাপেন্ড করা হয়।
অন্যথায়, ক্রলিং প্রসেস এই পেজ থেকে आगे বড়ে না। এই ধরনের ফোকাসড ওয়েব ক্রলারকে "ফুল-পেজ" ফোকাসড ওয়েব ক্রলার বলা হয় কারণ এটি ফুল পেজ কন্টেন্ট ক্লাসিফাই করে। অন্য টার্মে, পেজের সকল লিংকের কনটেক্স্ট হলো ফুল পেজ কন্টেন্ট নিজে।
এই ধরনের ওয়েব ক্রলার ইনডেক্সিং আরও ইফেক্টিভলি তৈরি করে সরাসরি সাহায্য করে আমাদের বেসিক রিকোয়ারমেন্ট অর্জন করতে কুইকার এবং আরও রিলেভেন্ট রিট্রিভাল অফ ডেটা যেনু হিউজ রিপোজিটরি অফ দ্য ওয়ার্ল্ড واয়ড ওয়েব থেকে। কয়েকটি সার্চ ইঞ্জিন এই মেথড ব্যবহার শুরু করেছে ইউজারদের একটি রিচার এক্সপেরিয়েন্স দিতে ওয়েব কন্টেন্ট ডাইরেক্টলি বাড়াতে তাদের হিট কাউন্টস।
ক্রলার ম্যানেজার এবং ক্রলার
ক্রলার ম্যানেজার হাইপারটেক্সট অ্যানালাইজারের পর সিস্টেমের একটি সিগনিফিক্যান্ট এলিমেন্ট। কম্পোনেন্ট গ্লোবাল ওয়েব থেকে ফাইল ডাউনলোড করে। URL রিপোজিটরিতে URLs রিকভার করা হয় এবং ক্রলার ম্যানেজারের বাফারে তৈরি করা হয়।
URL বাফার হলো একটি প্রায়োরিটি কিউ। URL বাফারের সাইজের ওপর নির্ভর করে, ক্রলার ম্যানেজার ডাইনামিক্যালি একটি ইনস্ট্যান্স তৈরি করে ক্রলারদের জন্য, যা ফাইল ডাউনলোড করবে। আরও ইফেক্টিভনেসের জন্য, ক্রলার ম্যানেজার একটি ক্রলার পুল জেনারেট করতে পারে। ম্যানেজারও ক্রলারদের স্পীড লিমিট করার এবং তাদের মধ্যে লোড ব্যালেন্স করার জন্য উত্তরদায়ী। এটি ক্রলারদের ইনস্পেক্ট করে করা হয়।
ক্রলার হলো একটি মাল্টি-থ্রেড জাভা কোড, যা ইন্টারনেট থেকে ওয়েব পেজ ডাউনলোড করার এবং ডকুমেন্ট রিপোজিটরিতে ফাইল সংরক্ষণ করার জন্য অ্যাডিকোয়েট। প্রতিটি ক্রলারের তার নিজস্ব কিউ থাকে, যা URLs-এর ফাইলকে ইনফ্লুয়েন্স করে যেগুলো ক্রল করা হবে। ক্রলার কিউ থেকে URL রিকভার করে।
বিভিন্ন ক্রলারগুলো একই সার্ভারে একটি রিকোয়েস্ট শেয়ার করতে পারে। যদি হয়, একই সার্ভারে রিকোয়েস্ট পাঠালে সার্ভার ওভারলোড হবে। সার্ভার সক্রিয় থাকে রিকোয়েস্ট কমপ্লিট করতে যা ক্রলারদের থেকে আসতে পারে যারা রিকোয়েস্ট শেয়ার করেছে এবং রেসপন্স এর জন্য অপেক্ষা করছে।
