ফাইলবিট মডিউল সহ সহজ লগ বিশ্লেষণ

ইলাস্টিক{17} থেকে, আমরা ইলাস্টিক স্ট্যাকের আসন্ন সমস্ত বৈশিষ্ট্য, বিশেষ করে নতুন ফাইলবিট মডিউল ধারণা সম্পর্কে উত্তেজিত। সাধারণত, আপনি যখন Filebeat দিয়ে ডেটা গ্রহন শুরু করতে চান, তখন আপনাকে Filebeat কনফিগার করতে হবে, একটি Elasticsearch ম্যাপিং টেমপ্লেট তৈরি করতে হবে, একটি ইনজেস্ট পাইপলাইন বা Logstash উদাহরণ তৈরি এবং পরীক্ষা করতে হবে এবং তারপর সেই ডেটাসেটের জন্য কিবানা ভিজ্যুয়ালাইজেশন তৈরি করতে হবে। বিটস টিম এখন সেই সেটআপ প্রক্রিয়াটিকে মডিউল ধারণার সাথে অনেক সহজ করে তুলেছে।

একটি ফাইলবিট মডিউল সেই সমস্ত কনফিগারেশন পদক্ষেপগুলিকে একটি প্যাকেজে রোল আপ করে যা একটি একক কমান্ড দ্বারা সক্ষম করা যেতে পারে। Filebeat 5.3.0 এবং পরবর্তীতে mysql, nginx, apache এবং সিস্টেম লগের জন্য মডিউল সহ পাঠানো হয়, কিন্তু এটি আপনার নিজের তৈরি করাও সহজ৷

ফাইলবিট মডিউলগুলি এখন প্রায় কয়েক সপ্তাহ ধরে উপলব্ধ রয়েছে, তাই আমি অবজেক্ট রকেট পরিষেবার মতো অ-স্থানীয় ইলাস্টিকসার্চ ক্লাস্টারগুলির সাথে কীভাবে সেগুলি ব্যবহার করতে হয় সে সম্পর্কে একটি দ্রুত ব্লগ তৈরি করতে চেয়েছিলাম। আমরা অবজেক্ট রকেট পরিষেবাতে ইলাস্টিকসার্চ সংস্করণ 5.4 চালু করেছি, তাই আপনি আজই ফাইলবিট মডিউল ব্যবহার করে দেখতে পারেন এবং নতুন অডিট মডিউল এবং Linux system.auth ফাইলসেটের সুবিধা নিতে পারেন৷

সেট আপ করা হচ্ছে

নীচের ধাপগুলি ইলাস্টিকসার্চ ইনস্ট্যান্স এবং আমাদের UI এর জন্য ObjectRocket উল্লেখ করে, কিন্তু অন্যান্য পরিষেবা বা আপনার নিজস্ব ক্লাস্টারগুলির জন্য পরিবর্তন করার জন্য যথেষ্ট সহজ হওয়া উচিত। এছাড়াও, আমরা এই উদাহরণে "সিস্টেম" মডিউল ব্যবহার করব, তবে অন্যান্য মডিউলগুলি সহ সহজবোধ্য৷

আপনার যা প্রয়োজন তা হল একটি ইলাস্টিকসার্চ 5.3 বা পরবর্তী উদাহরণ (আমি কিছু পূর্বের 5.x ইলাস্টিকসার্চ সংস্করণ চেষ্টা করেছি এবং এটি ভাল কাজ করেছে, কিন্তু কোন গ্যারান্টি নেই), একই সংস্করণের কিবানা, ইলাস্টিকসার্চ ক্লাস্টারের সাথে সংযোগ করতে হোস্টনাম(গুলি), ক্লাস্টারে লিখতে এবং সূচক তৈরি করার ক্ষমতা সহ ব্যবহারকারীর শংসাপত্র এবং ফাইলবিটের সংস্করণ 5.3 বা তার পরবর্তী সংস্করণ।

আপনার ইলাস্টিকসার্চ ক্লাস্টার এবং কিবানা ইতিমধ্যেই সেট আপ করা হয়েছে বলে ধরে নিলে, আপনি যে ধরনের সিস্টেম চালাচ্ছেন তার জন্য প্রথমে আপনাকে ফাইলবিট ডাউনলোড করতে হবে, এখানে, তারপরে আপনি লগ সংগ্রহ করতে চান এমন সিস্টেমে এটি বের করে নিন। এই উদাহরণের জন্য, আমি শুধু MacOS চালানোর একটি Macbook ব্যবহার করছি এবং একটি Elasticsearch 5.4.0 ক্লাস্টারে সংযোগ করছি, তাই আমি filebeat-5.4.0-darwin-x86_64.tar.gz প্যাকেজটি ব্যবহার করব। সেই সংরক্ষণাগারটি বের করুন এবং তারপরে আমরা ফাইলবিট সেট আপ করতে প্রস্তুত৷

ফাইলবিট সেট আপ করা হচ্ছে

ডিফল্টরূপে, Filebeat আপনার স্থানীয় মেশিনে একটি ইলাস্টিকসার্চ ইনস্ট্যান্সের সাথে সংযোগ করার চেষ্টা করে এবং অন্তর্ভুক্ত filebeat.yml ফাইলের সাথে /var/log/*.log-এ সমস্ত লগ পড়ার চেষ্টা করে, তাই আপনার ক্লাস্টার এবং স্ট্রিপের দিকে নির্দেশ করার জন্য আমাদের প্রথমে এটি পরিবর্তন করতে হবে। অন্য কোনো প্রসপেক্টর আউট. আপনি যদি অবজেক্ট রকেট পরিষেবা ব্যবহার করেন, আপনি আমাদের UI থেকে বিটস্ স্নিপেট অনুলিপি করে শুরু করতে পারেন, যা আপনার ক্লাস্টারের জন্য নির্দিষ্ট হোস্টনামগুলিকে স্বয়ংক্রিয়ভাবে পপুলেট করে৷

অন্য সব কিছু খুলে ফেলার পরে এবং ব্যবহারকারীর নাম/পাসওয়ার্ড পূরণ করার পরে, আপনার সম্পূর্ণ filebeat.yml ফাইলটি এইরকম দেখতে হবে:

div class="হাইলাইট">

output:
  elasticsearch:
    # The Elasticsearch cluster
    hosts: ["https://dfw-xxxx-0.es.objectrocket.com:xxxx", "https://dfw-xxxx-1.es.objectrocket.com:xxxx", "https://dfw-xxxx-2.es.objectrocket.com:xxxx", "https://dfw-xxxx-3.es.objectrocket.com:xxxx"]

    # HTTP basic auth
    username: "elasticsearch"
    password: "supersecretpassword"

এটাই. নোট করুন যে সমস্ত ইনপুট ছিনতাই করা হয়েছে, তাই ফাইলটিতে শুধুমাত্র ইলাস্টিকসার্চ সংযোগের তথ্য অন্তর্ভুক্ত রয়েছে। এই মুহুর্তে, এটাও নিশ্চিত করুন যে আপনি আপনার মেশিন থেকে আপনার ইলাস্টিক সার্চ ক্লাস্টার অ্যাক্সেস করতে সক্ষম হয়েছেন, ACL যোগ করা হয়েছে ইত্যাদি। এখন সবকিছুকে গতিশীল করতে ফাইলবিট ব্যবহার করা যাক।

ফাইলবিট চলছে

আপনি আপনার ক্লাস্টারের সাথে কথা বলার জন্য সবকিছু কনফিগার করেছেন, তাই যতক্ষণ পর্যন্ত আপনি ফাইলবিট.yml-এ আপনার সমস্ত পরিবর্তনগুলি ডিফল্ট অবস্থানে করেছেন, আপনি ফাইলবিট ডিরেক্টরি থেকে নিম্নলিখিত কমান্ডটি চালাবেন:

./filebeat -e -modules=system -setup

-e ফাইলবিট লগকে syslog-এর পরিবর্তে stderr-এ করে, -modules=system ফাইলবিটকে সিস্টেম মডিউল ব্যবহার করতে বলে এবং -সেটআপ Filebeat কে মডিউলের কিবানা ড্যাশবোর্ড লোড করতে বলে। আপনাকে শুধুমাত্র প্রথমবার কমান্ডের -setup অংশটি অন্তর্ভুক্ত করতে হবে, অথবা Filebeat আপগ্রেড করার পরে, যেহেতু এটি কিবানায় ডিফল্ট ড্যাশবোর্ডগুলিকে লোড করে। আপনি যদি একাধিক মডিউল চালাতে চান, আপনি সেগুলিকে কমা দ্বারা আলাদা করে তালিকাভুক্ত করতে পারেন (কোনও স্পেস নেই)।

দ্রষ্টব্য:Filebeat 5.4.0 এ একটি বাগ আছে যা -setup হতে পারে নির্দিষ্ট সিস্টেমে ব্যর্থ হওয়ার কমান্ডের অংশ। আপনি উচ্চতর কিছুতে ulimit সেট করে এটিকে ঘিরে কাজ করতে পারেন (চালান ulimit -n 2048 ) অথবা ফাইলবিট 5.3.x.

ব্যবহার করুন

Filebeat এখন তার কাজ করা উচিত. যতক্ষণ না আপনি কোনও ত্রুটি দেখতে পাচ্ছেন না, আসুন কিবানায় পপ ওভার করি এবং এটি পরীক্ষা করি৷

ডেটা দেখছি

একবার আপনি কিবানায় লগ ইন করলে, একটি নতুন ফাইলবিট-* ইনডেক্স প্যাটার্ন থাকা উচিত এবং কিছু নতুন ভিজ্যুয়ালাইজেশন এবং ড্যাশবোর্ড উপলব্ধ। "ড্যাশবোর্ড" এ যান এবং "ফাইলবিট সিসলগ ড্যাশবোর্ড" খুলুন।

ভয়লা। যতক্ষণ না, আপনার সিস্টেম লগে কিছু আছে, আপনার এখন আপনার ডেটার কিছু সুন্দর ভিজ্যুয়ালাইজেশন থাকা উচিত।

দ্রষ্টব্য:যদি Filebeat থেকে কোনো আপাত ত্রুটি না থাকে এবং কিবানায় কোনো ডেটা না থাকে, তাহলে আপনার সিস্টেমে খুব শান্ত সিস্টেম লগ থাকতে পারে। কিছু ডেটা দেখার জন্য আমাকে 'শেষ 15 মিনিটের' ডিফল্টের চেয়ে একটু দূরে ডেট পিকার সেট করতে হয়েছিল৷

র্যাপিং আপ

এটি সবচেয়ে সাধারণ ব্যবহারের ক্ষেত্রে Beats-কে ব্যবহার করা আরও সহজ করার দিকে একটি সত্যিই দুর্দান্ত পদক্ষেপ এবং এই উদাহরণের মূল বিষয়গুলি এখন উপলব্ধ অন্যান্য মডিউলগুলির জন্য সহজেই প্রসারিত করা যেতে পারে। উদাহরণস্বরূপ, অনেকগুলি ওয়েব অ্যাপের (যেমন ওয়ার্ডপ্রেস, ড্রুপাল, ম্যাজেন্টো, ইত্যাদি) একটি ওয়েব সার্ভার এবং তাদের পিছনে কিছু mysql আছে। এই এক সেট মডিউল এবং একটি একক কমান্ড দিয়ে আপনি ওয়েব সার্ভার, ডাটাবেস এবং সেই অ্যাপ্লিকেশনের সিস্টেম লগগুলির জন্য শিপিং লগগুলি এক ধাপে শুরু করতে পারেন৷

আপনি যদি আরও তথ্য খুঁজছেন এবং এই মডিউলগুলি কীভাবে তৈরি করা হয় তা খনন করতে চান, বিকাশকারী ডকুমেন্টেশনটি দেখুন এবং আপনার ফাইলবিট ইনস্টলেশনের মডিউল ডিরেক্টরিতে ঘুরে দেখুন। আপনি কিবানায় যা দেখছেন তার সাথে মডিউল ব্যবহার করছে এমন প্রসপেক্টর, পাইপলাইন, টেমপ্লেট এবং ভিজ্যুয়ালাইজেশনগুলিকে মেলতে সক্ষম হওয়া উচিত৷