কিভাবে রেডিস ব্যবহার করে আপনার লগ বিশ্লেষণকে শক্তিশালী করতে একটি অ্যাপ্লিকেশন তৈরি করবেন

যেহেতু আপনার আইটি পরিকাঠামো আকারে বৃদ্ধি পাচ্ছে এবং জটিল হয়ে উঠছে, তাই সবকিছু সঠিকভাবে পরিচালনা করা হয়েছে তা নিশ্চিত করার জন্য আপনাকে আরও মনোযোগ দিতে বাধ্য করা হতে পারে।

মেঘের উত্থানের পর থেকে, এটি বিশেষভাবে আরও প্রাসঙ্গিক হয়ে উঠেছে, এই কারণে যে আমাদের কাছে এখন অনেকগুলি বিভিন্ন স্থানে ছড়িয়ে থাকা প্রযুক্তিগত তথ্যের প্রাচুর্য রয়েছে৷

কিন্তু ব্যাপক লগ বিশ্লেষণ করতে সক্ষম হওয়া ক্লান্তিকর, সময়সাপেক্ষ এবং বেদনাদায়ক বিরক্তিকর হতে পারে।

এই বোঝা থেকে নিজেকে মুক্ত করার একটি সহজ কিন্তু কার্যকর উপায় হ'ল সফ্টওয়্যার বা অ্যাপ্লিকেশনগুলি ব্যবহার করা যা নিরীক্ষণ লগগুলিকে সহজ করার জন্য ডিজাইন করা হয়েছে… এবং অ্যালেক্সিস গার্ডিন তার অ্যাপ্লিকেশন, লগুবে ঠিক এটিই করেছেন।

অন্যান্য অনেক SaaS সমাধানের বিপরীতে, Logub এই কাজগুলি অন-প্রিমিসেস এবং ওপেন সোর্স করতে পারে। নীচের পদক্ষেপগুলি অনুসরণ করে, আপনি একটি অ্যাপ্লিকেশন তৈরি করতে সক্ষম হবেন যা আপনার জন্য অ্যাপ্লিকেশন লগগুলি সংগ্রহ করবে, অন্বেষণ করবে এবং বিশ্লেষণ করবে৷

এই অ্যাপ্লিকেশনটির কেন্দ্রে ছিল অপ্রতিদ্বন্দ্বী দক্ষতার সাথে বিভিন্ন অবস্থানে লগগুলি অন্বেষণ এবং বিশ্লেষণ করার RediSearch-এর ক্ষমতার উপর নির্ভরতা। অ্যালেক্সিস কীভাবে এই অ্যাপ্লিকেশনটিকে একত্রিত করেছে তা দেখুন।

কিন্তু আমরা ডুব দেওয়ার আগে, আমাদের আপনাকে জানাতে হবে যে রেডিস লঞ্চপ্যাডে আপনার জন্য চেক আউট করার জন্য আমাদের কাছে অ্যাপ্লিকেশনগুলির একটি উত্তেজনাপূর্ণ পরিসরও রয়েছে।

1. আপনি কি নির্মাণ করবেন?
2. আপনার কি লাগবে?
3. স্থাপত্য
4. শুরু করা
5. কিভাবে ডেটা সংরক্ষণ করা হয়
6. কিভাবে ডেটা জিজ্ঞাসা করা হয়
7. সার্চ বার কিভাবে কাজ করে?
8. কিভাবে আপনার প্রকল্পে লগুবকে একীভূত করবেন?
9. উপসংহার

1. আপনি কি নির্মাণ করবেন?

আপনি লগ অ্যাপ্লিকেশন সংগ্রহ, বিশ্লেষণ এবং অন্বেষণ করতে Redis দ্বারা চালিত একটি বিশেষ অ্যাপ তৈরি করবেন। নীচের ধাপগুলিতে, আমরা প্রয়োজনীয় উপাদানগুলির সাথে এই অ্যাপ্লিকেশনটি তৈরি করার জন্য যা প্রয়োজন তা A-Z দিয়ে যাব।

এমনকি আপনি Redis এ নতুন হলেও, আমরা আপনাকে দেখাব কিভাবে এই শক্তিশালী ডাটাবেসের সাথে আঁকড়ে ধরতে হয়। আপনি কি শুরু করতে প্রস্তুত?

ঠিক আছে, সরাসরি ডুব দেওয়া যাক।

2. আপনার কি দরকার?

• সাবলীল : লগ প্রক্রিয়াকরণের জন্য ক্রস-প্ল্যাটফর্ম ওপেন-সোর্স ডেটা সংগ্রহ সফ্টওয়্যার হিসাবে ব্যবহৃত হয়।
• Fluent এর জন্য Redis আউটপুট প্লাগইন: fluent-plugin-redis হল redis-এ আউটপুট করার জন্য একটি সাবলীল প্লাগইন। RediSearch:
• ডকার : ডেভেলপারদের পাত্রে অ্যাপ্লিকেশন প্যাকেজ করার জন্য একটি প্ল্যাটফর্ম হিসাবে ব্যবহৃত হয়।
• ডকার কম্পোজ : মাল্টি-কন্টেইনার ডকার অ্যাপ্লিকেশন সংজ্ঞায়িত এবং চালানোর জন্য ব্যবহৃত হয়।

3. স্থাপত্য

আপনি যখন একটি লগে ক্লিক করেন, বিশদ বিবরণ প্রদর্শিত হবে এবং আপনার কাছে ব্যবসার বৈশিষ্ট্যগুলি সূচী করার বিকল্প থাকবে। এই ব্যবসার বৈশিষ্ট্যগুলি পরে ফিল্টার হিসাবে ব্যবহার করা যেতে পারে।

দ্রষ্টব্য: একটি পাত্রে একটি লগ তৈরি করা এবং লগুবে এর প্রদর্শনের মধ্যে প্রায় 1 মিনিটের লেটেন্সি রয়েছে৷ এই লেটেন্সি ডাটাবেসে লগগুলি সংগ্রহ, ফর্ম্যাটিং এবং ইনজেস্ট করার প্রক্রিয়ার কারণে ঘটে।

5. এটি কিভাবে কাজ করে?

কীভাবে ডেটা সংরক্ষণ করা হয়

Fluentd Redis প্লাগইন ব্যবহার করে ডেটা সংরক্ষণ করা হয়। এটি HSET-এর সাথে প্রতিটি লগ সঞ্চয় করে। উদাহরণস্বরূপ:HSET স্তরের ডিবাগ বার্তা “হ্যালো ওয়ার্ল্ড” থ্রেড প্রধান

কীভাবে ডেটা জিজ্ঞাসা করা হয়

এটি সেই বস্তু যা আপনি লগ ম্যানিপুলেট করতে এবং রেডিস থেকে পুনরুদ্ধার করতে ব্যবহার করবেন। এই ক্রিয়াটি সম্পাদন করা লগুব UI-কে লগগুলি প্রদর্শন করার অনুমতি দেবে৷ আপনার লগে জটিল প্রশ্ন করতে, আপনি RediSearch ব্যবহার করতে পারেন।

যেহেতু আপনি গতিশীলভাবে RediSearch স্কিমা পরিবর্তন করতে সক্ষম, আপনি কোন স্কিমা সূচীকৃত হয়েছে তা ট্র্যাক রাখতে 'তালিকা' ডেটা স্ট্রাকচার ব্যবহার করতে পারেন।

উপরের কমান্ডটি আপনাকে ব্যবহারকারীর ইনপুটের উপর ভিত্তি করে একটি প্লেইন টেক্সট RediSearch ক্যোয়ারী তৈরি করার অনুমতি দেবে। রেডিসার্চ লাইব্রেরির উপরে তৈরি করা একগুচ্ছ ছোট QueryBuilders আছে। এটি একই কমান্ড যা আপনার লগগুলিতে একটি ব্যাপক এবং দক্ষ অনুসন্ধান চালাতে Logub UI দ্বারা পাঠানো হবে।

ধাপ 2:সার্চ বার কিভাবে কাজ করবেন

আপনি ট্যাগ বা পূর্ণ-পাঠ্য অনুসন্ধানের মাধ্যমে অনুসন্ধান চালাতে পারেন। আপনি আটকে গেলে আপনি মডেল হিসাবে ব্যবহার করতে পারেন এমন কিছু উদাহরণ নীচে দেওয়া হল।

• env:dev Ut ea vero voluptate* Ut ea vero voluptate দিয়ে শুরু হওয়া একটি বার্তা সহ dev পরিবেশে সমস্ত লগ অনুসন্ধান করবে
• -env:prod Ut ea vero voluptate* Ut ea vero voluptate দিয়ে শুরু হওয়া একটি বার্তা সহ প্রোড ব্যতীত সমস্ত পরিবেশে সমস্ত লগ অনুসন্ধান করবে
• originRequest:France originRequest:USA ফ্রান্স বা USA-তে একটি মান সেট সহ একটি ফিল্ড originRequest আছে এমন সমস্ত লগ অনুসন্ধান করবে
• "কুকুর" "বিড়াল" "কুকুর" এবং "বিড়াল" শব্দগুলি ধারণ করে এমন সমস্ত লগ অনুসন্ধান করবে
• - "কুকুর" "বিড়াল" এমন সব লগ সার্চ করবে যেখানে "কুকুর" নেই কিন্তু "বিড়াল" আছে

অ্যাপটির সাথে আপনার পরীক্ষা করার একটি ভাল অভিজ্ঞতার জন্য, আমরা উচ্চতর সুপারিশ করছি যে আপনি খেলার মাঠের সাথে আপনার নিজস্ব লগ তৈরি করুন, ব্যবসার বৈশিষ্ট্য যোগ করুন এবং তারপরে এটির জন্য একটি অনুভূতি পেতে কিছু পরীক্ষা-নিরীক্ষা করুন।

ধাপ 3:কিভাবে আপনার প্রোজেক্টে লগুবকে সংহত করবেন

লোগব পরিচালনা করার জন্য আপনার নিচের ডকার চিত্রগুলির তালিকার প্রয়োজন হবে:

• লগব ফ্লুয়েন্ট ইমেজ সংগ্রহ করতে এবং রেডিসে লগ পাঠাতে - লগুব ফ্লুয়েন্টড ইমেজ
• RediSearch মডিউল Redis Mod Image সহ রিডিস ইমেজ
• লগ অন্বেষণ কার্যকারিতা পরিবেশন করার জন্য লগব কন্ট্রোলার ইমেজ - লগব কন্ট্রোলার ইমেজ
• লগ অন্বেষণ এবং অনুসন্ধানের জন্য লগুব UI – লগুব UI চিত্র

লগব লগ বিন্যাস

আপাতত, Logub শুধুমাত্র একটি নির্দিষ্ট লগ বিন্যাস পরিচালনা করতে পারে। ভবিষ্যতে, এই বিন্যাসটি প্রসারিত এবং আরও কাস্টমাইজযোগ্য হবে।

এখানে Logub ফর্ম্যাট আছে

দয়া করে মনে রাখবেন, এই ক্ষেত্রগুলি বাধ্যতামূলক নয়।

আপনি যদি আপনার ব্যবসার বৈশিষ্ট্যগুলি যোগ করতে চান তবে আপনাকে একটি নেস্টেড JSON অবজেক্ট যোগ করতে হবে যাতে কী হিসাবে "mdc" রয়েছে। যেমন:

লগব-এ লগ প্রকাশ করা হচ্ছে

Loghub-এ লগ অন্বেষণ করতে, আপনার পাত্রে Docker Fluentd লগিং ড্রাইভার ব্যবহার করতে হবে। এখানে গ্রাহক একীকরণের জন্য একটি কনফিগারেশন উদাহরণ।

ধাপ 4:Logub এ Redis সেট আপ করা

পুনরায় অনুসন্ধান

লগুব অ্যাপ্লিকেশন লগ প্রক্রিয়া করতে RediSearch এর কার্যকারিতা ব্যবহার করে। যখন লগগুলি রেডিস ডাটাবেসে টিকে থাকে, তখন তাদের সাথে 3 ধরনের ক্ষেত্র থাকে:

• সিস্টেম বৈশিষ্ট্য: লগ পাঠানোর সময় ডকার এবং ফ্লুয়েন্টড আমাদের সরবরাহ করে এমন তথ্য (যেমন পরিবেশ, ধারক নাম ইত্যাদি)।
• মৌলিক বৈশিষ্ট্য: একটি লগে থাকা প্রাথমিক তথ্য (যেমন টাইমস্ট্যাম্প, পরিষেবা ইত্যাদি)। এই বৈশিষ্ট্যগুলি স্বয়ংক্রিয়ভাবে RediSearch-এ ইন্ডেক্স করা হয়৷
• ব্যবসায়িক বৈশিষ্ট্য: একটি নির্দিষ্ট ক্ষেত্রে একটি লগব ব্যবহারকারী দ্বারা দেওয়া হয়. এখানে ব্যবহারকারীকে একটি কী-মান (মানচিত্র) বিন্যাসকে সম্মান করতে হবে। RediSearch-এর উন্নত ক্ষমতার জন্য ধন্যবাদ, আপনি যদি সেগুলি নিয়ে কিছু গবেষণা করতে চান তবে আপনি এই 'ব্যবসায়িক বৈশিষ্ট্যগুলি' সূচী করতে সক্ষম হবেন।

এখানে আমাদের কাছে একটি লগের একটি উদাহরণ রয়েছে যা বর্ণনা করে যে কীভাবে আমাদের টুল কাজ করে যখন Fluentd সমতল হয় এবং Redis ডাটাবেসে টিকে থাকে। Logub API ব্যবহারকারী বা কোম্পানিকে mdc অবজেক্টের এক বা সমস্ত ক্ষেত্র সূচী করার অনুমতি দেবে।

এই প্রকল্পে, ট্যাগ ডেটাটাইপ ব্যাপকভাবে ব্যবহৃত হয়। লগগুলিতে অনুসন্ধান করার সময় প্রায়শই ব্যবসার বৈশিষ্ট্যের উপর ভিত্তি করে লগগুলি অনুসন্ধান করা হয় (যেমন একটি গ্রাহক আইডি)। তাছাড়া, আমরা টেক্সটফিল্ড ডেটাটাইপও ব্যবহার করি লগ বার্তা জন্য. এটি ব্যবহারকারীকে এই ক্ষেত্রে একটি পূর্ণ-পাঠ্য অনুসন্ধান করতে দেয়।

এখানে অনুসন্ধান প্রক্রিয়ার একটি সরলীকৃত স্কিমা রয়েছে: 

আলেক্সিস গার্ডিন

অ্যালেক্সিস একজন উদ্ভাবনী সফ্টওয়্যার প্রকৌশলী যিনি বর্তমানে Zendoc এর জন্য কাজ করেন। তিনি অন্য কোন প্রকল্পের সাথে জড়িত তা দেখতে তার GitHub পৃষ্ঠায় যান।