একটি ফোকাসড ওয়েব ক্রলার হল একটি হাইপারটেক্সট সিস্টেম যা ওয়েবের তুলনামূলকভাবে সংকীর্ণ অংশকে সংজ্ঞায়িত করে এমন একটি নির্দিষ্ট বিষয়ের উপর পৃষ্ঠাগুলি তদন্ত করে, অর্জন করে, সূচী করে এবং সমর্থন করে। এটির জন্য হার্ডওয়্যার এবং ওয়েব রিসোর্সে খুব অল্প বিনিয়োগের প্রয়োজন হয় এবং তারপরও দ্রুত হারে সম্মানজনক কভারেজ পরিচালনা করে, কারণ সেখানে তুলনামূলকভাবে ছোট কাজ করা যায়।
ফোকাস করা ওয়েব ক্রলার একটি ক্লাসিফায়ার দ্বারা পরিচালিত হয় যা একটি বিষয় শ্রেণীবিন্যাস এম্বেড করা উদাহরণ থেকে প্রাসঙ্গিকতা সনাক্ত করতে শেখে এবং একটি ডিস্টিলার যা ইন্টারনেটে টপিকাল ভ্যান্টেজ পয়েন্টগুলিকে স্বীকৃতি দেয়৷
ফোকাসড ওয়েব ক্রলাররা একটি টার্গেট বিষয়ের জন্য নির্দিষ্ট ওয়েব পেজ ক্রল করতে উল্লম্ব সার্চ ইঞ্জিন ব্যবহার করে। প্রতিটি আনা পৃষ্ঠা পূর্বনির্ধারিত লক্ষ্য বিষয়(গুলি) মধ্যে শ্রেণীবদ্ধ করা হয়। যদি পৃষ্ঠাটি অন-টপিক হওয়ার পূর্বাভাস দেওয়া হয়, তাহলে এর লিঙ্কগুলি বের করা হয় এবং URL সারিতে যুক্ত করা হয়৷
অন্যথায়, ক্রলিং প্রক্রিয়া এই পৃষ্ঠা থেকে অগ্রসর হবে না। এই ধরনের ফোকাস করা ওয়েব ক্রলার একটি "পূর্ণ-পৃষ্ঠা" ফোকাসড ওয়েব ক্রলার হিসাবে পরিচিত কারণ এটি সম্পূর্ণ পৃষ্ঠার বিষয়বস্তুকে শ্রেণীবদ্ধ করে। অন্য শব্দে, পৃষ্ঠার সমস্ত সংযোগের প্রসঙ্গ হল সম্পূর্ণ পৃষ্ঠার বিষয়বস্তু।
এই ধরনের ওয়েব ক্রলার আরও কার্যকরভাবে ইন্ডেক্সিং তৈরি করে যা ওয়ার্ল্ড ওয়াইড ওয়েবের বিশাল ভাণ্ডার থেকে দ্রুত এবং আরও প্রাসঙ্গিক ডেটা পুনরুদ্ধারের প্রাথমিক প্রয়োজনীয়তা অর্জনে আমাদের সাহায্য করে। বেশ কয়েকটি সার্চ ইঞ্জিন এই পদ্ধতিটি ব্যবহার করা শুরু করেছে যাতে ব্যবহারকারীদের আরও সমৃদ্ধ অভিজ্ঞতা প্রদান করে ওয়েব সামগ্রী তৈরি করে সরাসরি তাদের হিট সংখ্যা বৃদ্ধি করে৷
ক্রলার ম্যানেজার হাইপারটেক্সট বিশ্লেষক অনুসরণকারী সিস্টেমের একটি গুরুত্বপূর্ণ উপাদান। কম্পোনেন্ট গ্লোবাল ওয়েব থেকে ফাইল ডাউনলোড করে। URL সংগ্রহস্থলের URLগুলি পুনরুদ্ধার করা হয় এবং ক্রলার ম্যানেজারের বাফারে তৈরি করা হয়৷
URL বাফার একটি অগ্রাধিকার সারি। এটি URL বাফারের আকারের উপর নির্ভর করে, ক্রলার ম্যানেজার গতিশীলভাবে ক্রলারগুলির জন্য একটি উদাহরণ তৈরি করে, যা ফাইলগুলি ডাউনলোড করবে। আরও কার্যকারিতার জন্য, ক্রলার ম্যানেজার একটি ক্রলার পুল তৈরি করতে পারে। ম্যানেজার ক্রলারের গতি সীমিত করার জন্য এবং তাদের মধ্যে ভারসাম্য বজায় রাখার জন্যও দায়ী। এটি ক্রলার পরিদর্শন করে সম্পন্ন হয়৷
৷ক্রলার হল একটি মাল্টি-থ্রেড জাভা কোড, যা ইন্টারনেট থেকে ওয়েব পৃষ্ঠাগুলি ডাউনলোড করতে এবং নথি সংগ্রহস্থলে ফাইলগুলি সংরক্ষণ করার জন্য যথেষ্ট। প্রতিটি ক্রলারের সারি থাকে, যা ক্রল করা URL-এর ফাইলকে প্রভাবিত করে। ক্রলার সারি থেকে URL পুনরুদ্ধার করেছে৷
৷বিভিন্ন ক্রলার একই সার্ভারে একটি অনুরোধ শেয়ার করবে। যদি তাই হয়, অনুরূপ সার্ভারে অনুরোধ পাঠানো সার্ভার ওভারলোডিং ফলাফল হবে. সার্ভারটি অনুরোধটি পূরণ করতে সক্রিয় রয়েছে যা অনুরোধটি শেয়ার করা ক্রলারদের থেকে উপস্থিত হতে হবে এবং প্রতিক্রিয়ার অপেক্ষায় রয়েছে৷
