ফোকাসড ওয়েব ক্রলার-এর কম্পোনেন্টগুলো কী কী?

ফোকাসড ওয়েব ক্রলার-এর প্রধান কম্পোনেন্ট

সিড ডিটেক্টর (Seed detector)

সিড ডিটেক্টরের সার্ভিস হলো নির্দিষ্ট কীওয়ার্ডের জন্য সিড URLসিদ্ধান্ত নেওয়া প্রথম n URL ফেচ করে। সিড পেজগুলো চেনা হয় এবং অ্যাসাইন করা হয় একটি প্রায়োরিটি PageRank অ্যালগরিদম বা হিটস অ্যালগরিদম বা সেটির সমান অ্যালগরিদমের ওপর নির্ভর করে।

ক্রলার ম্যানেজার (Crawler Manager)

ক্রলার ম্যানেজার হাইপারটেক্সট অ্যানালাইজারের পর সিস্টেমের একটি এসেনশিয়াল কম্পোনেন্ট। এই কম্পোনেন্ট গ্লোবাল ওয়েব থেকে ফাইল ডাউনলোড করে। URL রিপোজিটরিতে URLs রিট্রিভ করা হয় এবং ক্রলার ম্যানেজারের বাফারে তৈরি করা হয়।

URL বাফার হলো একটি প্রায়োরিটি কিউ। URL বাফারের সাইজের ওপর নির্ভর করে, ক্রলার ম্যানেজার ডাইনামিক্যালি একটি ইনস্ট্যান্স তৈরি করে ক্রলারদের জন্য, যা ফাইল ডাউনলোড করবে।

আরো ইফেক্টিভনেসের জন্য, ক্রলার ম্যানেজার একটি ক্রলার পুল জেনারেট করতে পারে। ম্যানেজারও क्रলারদের স্পীড লিমিট করার এবং তাদের মধ্যে লোড ব্যালেন্স করার জন্য উত্তরদায়ী। এটি ক্রলারদের ইনস্পেক্ট করে করা হয়।

ক্রলার (Crawler)

ক্রলার হলো একটি মাল্টি-থ্রেড জাভা কোড, যা ওয়েব থেকে ওয়েব পেজ ডাউনলোড করার এবং ডকুমেন্ট রিপোজিটরিতে ফাইল সংরক্ষণ করার জন্য অ্যাডিকোয়েট। প্রতিটি ক্রলারের তার নিজস্ব কিউ থাকে, যা URLs-এর লিস্টকে ইনফ্লুয়েন্স করে যেগুলো ক্রল করা হবে। ক্রলার কিউ থেকে URL রিট্রিভ করে।

বিভিন্ন ক্রলারগুলো একই সার্ভারে একটি রিকোয়েস্ট শেয়ার করতে পারে। তাই একই সার্ভারে রিকোয়েস্ট পাঠালে সার্ভার ওভারলোড হবে। সার্ভার সক্রিয় থাকে রিকোয়েস্ট কমপ্লিট করতে যা ক্রলারদের থেকে আসতে পারে যারা রিকোয়েস্ট শেয়ার করেছে এবং রেসপন্স এর জন্য অপেক্ষা করছে।

সার্ভার সিনক্রোনাইজড তৈরি করা হয়। যদি URL-এর জন্য রিকোয়েস্ট আগে শেয়ার করা নয়, রিকোয়েস্ট HTTP স্ট্রাকচারে ফরওয়ার্ড করা হয়। এটি নিশ্চিত করে যে ক্রলার কোনো সার্ভার ওভারলোড করে না।

লিংক এক্সট্র্যাক্টর (Link Extractor)

লিংক এক্সট্র্যাক্টর ডকুমেন্ট রিপোজিটরিতে উপস্থিত ফাইল থেকে লিংক বের করে। কম্পোনেন্ট চেক করে URL রিট্রিভড-এ আছে কিনা। যদি না পাওয়া যায়, হাইপারলিংকের আগে এবং পরে সারাউন্ডিং টেক্সট, হেডিং বা সাব-হেডিং যেটার অধীনে কানেকশন আছে, সেগুলো এক্সট্রাক্ট করা হয়।

হাইপারটেক্সট অ্যানালাইজার (Hypertext Analyzer)

হাইপারটেক্সট অ্যানালাইজার লিংক এক্সট্র্যাক্টর থেকে কীওয়ার্ড পায় এবং ট্যাক্সোনমি হায়ারার্কি ডিফাইন করে সার্চ কীওয়ার্ডের সাথে মেথডের রিলেভেন্সি ডিসকভার করে।

HTTP প্রোটোকল মডিউল (HTTP Protocol Module)

HTTP প্রোটোকল মডিউল কিউ থেকে স্বীকৃত URL সহ ফাইলের জন্য রিকোয়েস্ট শেয়ার করে। ডকুমেন্ট রিসিভ করার পর, ডাউনলোডেড ডকুমেন্টের URL(URL fetched) তে টাইমস্ট্যাম্পসহ সংরক্ষণ করা হয় এবং ডকুমেন্ট ডকুমেন্ট রিপোজিটরিতে স্টোর করা হয়।