আপস্ট্যাশ কাফকা এবং মঙ্গোডিবি সংযোগকারীর সাথে একটি লো-লেটেন্সি সেগমেন্টেশন প্ল্যাটফর্ম তৈরি করা

পরিচয়

• একটি সেগমেন্টেশন প্ল্যাটফর্ম গ্রাহক, পণ্য এবং অন্যান্য প্রাসঙ্গিক ডেটা বোঝার এবং শ্রেণীবদ্ধ করার ক্ষেত্রে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে৷
• বিভাগের মধ্যে একটি বড় গোষ্ঠীকে কিছু নির্দিষ্ট মানদণ্ডের ভিত্তিতে ছোট, আরও সমজাতীয় উপগোষ্ঠীতে বিভক্ত করা জড়িত৷
• বিভিন্ন ডোমেনে বিভাজন প্ল্যাটফর্মের কয়েকটি উদাহরণ এখানে দেওয়া হল, যেমন, ব্যক্তিগতকৃত বিপণন কৌশল, লক্ষ্যযুক্ত প্রচার এবং আরও কাস্টমাইজড কেনাকাটার অভিজ্ঞতার জন্য গ্রাহক বিভাজন৷

সূচিপত্র

1. প্রয়োজনীয়তা বোঝা
2. বেসিক আর্কিটেকচার
3. স্থাপত্য উপাদান
4. ডিজাইন চ্যালেঞ্জ
5. প্রস্তাবিত সমাধান
6. ক্লোজিং নোট

1. প্রয়োজনীয়তা বোঝা

ই-কমার্সে গ্রাহক বিভাগগুলির জন্য একটি কম-বিলম্বিত বিভাজন প্ল্যাটফর্ম ডিজাইন করা রিয়েল-টাইম প্রক্রিয়াকরণ, ব্যবহারকারীর অভিজ্ঞতা এবং গ্রাহক আচরণের গতিশীল প্রকৃতির সাথে সম্পর্কিত নির্দিষ্ট চ্যালেঞ্জগুলি উপস্থাপন করে। এখানে কিছু চ্যালেঞ্জ রয়েছে যা আপনি এই প্রসঙ্গে সম্মুখীন হতে পারেন:

1. বড় এবং গতিশীল ডেটাসেট

   • ই-কমার্স প্ল্যাটফর্মগুলি গ্রাহক প্রোফাইল, পণ্যের ক্যাটালগ এবং লেনদেনের ইতিহাস সহ বড় এবং ক্রমাগত পরিবর্তনশীল ডেটাসেটের সাথে কাজ করে।
   • নিম্ন লেটেন্সি বজায় রেখে রিয়েল-টাইমে এই বিশাল ডেটাসেটগুলি পরিচালনা এবং প্রক্রিয়া করা একটি উল্লেখযোগ্য চ্যালেঞ্জ৷

2. মাপযোগ্যতা

   • পরিমাপযোগ্যতার জন্য ডিজাইন করা বিভিন্ন কাজের চাপ সামলানোর জন্য অপরিহার্য। বিলম্ব না করে আরও প্রসেসিং ইউনিট যোগ করে সিস্টেমটি অনুভূমিকভাবে স্কেল করতে পারে তা নিশ্চিত করার জন্য সতর্ক স্থাপত্য পরিকল্পনা প্রয়োজন।

3. অসিঙ্ক্রোনাস প্রক্রিয়াকরণ

   • অসিঙ্ক্রোনাস প্রসেসিং ব্যবহার করা উপাদানগুলিকে দ্বিগুণ করতে এবং সামগ্রিক সিস্টেমের প্রতিক্রিয়াশীলতা উন্নত করতে সাহায্য করতে পারে। যাইহোক, জটিলতা বা বিলম্ব না করেই অ্যাসিঙ্ক্রোনাস কমিউনিকেশন পরিচালনার জন্য সতর্ক ডিজাইনের প্রয়োজন।

4. ডেটা ফ্লো এবং পাইপলাইন

   • একটি দক্ষ ডেটা ফ্লো ডিজাইন করা এবং পাইপলাইন প্রক্রিয়াকরণ কম লেটেন্সি সিস্টেমের জন্য অত্যন্ত গুরুত্বপূর্ণ৷
   • উপাদানগুলির মধ্যে ট্রানজিট করার সময় ডেটা খরচ কমিয়ে আনা এবং প্রক্রিয়াকরণের ধাপগুলির ক্রম অপ্টিমাইজ করা সামগ্রিক বিলম্বকে উল্লেখযোগ্যভাবে প্রভাবিত করতে পারে৷

5. মাইক্রোসার্ভিসেস আর্কিটেকচার

   • একটি মাইক্রোসার্ভিসেস আর্কিটেকচার প্রয়োগ করা স্কেলেবিলিটি এবং নমনীয়তা বাড়াতে পারে। যাইহোক, লেটেন্সি প্রবর্তন না করে মাইক্রোসার্ভিসের মধ্যে বিরামহীন যোগাযোগ নিশ্চিত করা চ্যালেঞ্জিং হতে পারে।
   • দক্ষ API ডিজাইন করা এবং আন্তঃ-পরিষেবা যোগাযোগ পরিচালনা করা গুরুত্বপূর্ণ।

2. বেসিক আর্কিটেকচার

সেগমেন্টেশন প্ল্যাটফর্ম তিনটি প্রধান সাবসিস্টেম নিয়ে গঠিত:

1. কম্পিউট সার্ভিস (অফলাইন ব্যাচ কম্পিউট/অনলাইন কম্পিউট):

   • স্পার্ক জবস ব্যবহার করে কাঁচা ডেটা থেকে ব্যবহারকারীর অংশ বের করে।
   • স্পার্ক জব ডেটা লেক থেকে ডেটা পুনরুদ্ধার করে, পরিষ্কার করে এবং যাচাই করে৷
   • ফলাফল তথ্য পরিবেশনকারী সাব-সিস্টেমে পাঠানো হয়।

2. ইনজেশন পরিষেবা:

   • গণনা করা সেগমেন্টকে কম্পিউট সার্ভিস থেকে সেগমেন্টেশন সার্ভিসে ট্রান্সফার করে।
   • সেগমেন্টের মধ্যে ব্যবহারকারীদের অন্তর্ভুক্তি এবং বর্জন পরিচালনা করে।

3. সেগমেন্ট সার্ভিস (সার্ভ লেয়ার):

   • ব্যবহারকারীর পরিষেবা বা ডিসকাউন্ট পরিষেবার জন্য নির্দিষ্ট প্রয়োজনীয়তার ভিত্তিতে ব্যবহারকারীর বিভাগগুলি প্রদান করে৷

   • ডিসকাউন্ট পরিষেবা ব্যবহারকারী আইডির উপর ভিত্তি করে প্রশ্ন করতে পারে এবং উপলব্ধ ডিসকাউন্ট গণনা করতে পারে

     ইউজার আইডি সেগমেন্ট আইডি এতে তৈরি হয়েছে 2521সেগমেন্ট XDec 3, 20232788Segment YDec 3, 20233943Segment ZDec 3, 2023

3. স্থাপত্য উপাদান

সেগমেন্টেশন প্ল্যাটফর্ম নিম্নলিখিত প্রধান উপাদানগুলি নিয়ে গঠিত:

1. ডেটা লেক - S3

   • ডাটা লেক হিসেবে পরিবেশনের জন্য S3 একটি ব্যাপকভাবে গৃহীত এবং বহুমুখী বিকল্প। এর স্কেলযোগ্য এবং টেকসই অবজেক্ট স্টোরেজ ক্ষমতা এটিকে দক্ষতার সাথে বিভিন্ন ধরনের ডাটা টাইপের বড় ভলিউম সংরক্ষণ এবং পরিচালনার জন্য উপযুক্ত করে তোলে।
   • ডেটা লেক হিসাবে S3 ব্যবহার করে, সংস্থাগুলি ডেটা স্টোরেজ, পুনরুদ্ধার এবং পরিচালনার জন্য এর শক্তিশালী বৈশিষ্ট্যগুলি থেকে উপকৃত হতে পারে, এটি বিভিন্ন ডেটা-কেন্দ্রিক অ্যাপ্লিকেশন এবং আর্কিটেকচারে একটি জনপ্রিয় পছন্দ করে তোলে৷

2. লেনদেন সংক্রান্ত ডেটাবেস MongoDB

   • মঙ্গোডিবি-এর নথি-ভিত্তিক মডেলটি লেনদেন সংক্রান্ত ব্যবহারের ক্ষেত্রে উপকারী কারণ এটি আপনাকে JSON-এর মতো বিন্যাসে জটিল ডেটা স্ট্রাকচার সংরক্ষণ করতে দেয়। এই নমনীয়তা বিশেষত সেই অ্যাপ্লিকেশনগুলির জন্য উপযোগী যেখানে সময়ের সাথে সাথে ডেটা স্ট্রাকচার বিকশিত হতে পারে।

3. আপস্ট্যাশ কাফকা ক্লাস্টার

   • আপনি আপনার ওয়েব অ্যাপ্লিকেশন থেকে আপস্ট্যাশ কাফকাতে ট্র্যাফিক (ক্লিক) ইভেন্টগুলি স্ট্রিম করতে পারেন তারপর আপনি সেগুলিকে আরও প্রক্রিয়াকরণের জন্য ডেটা লেকে সংরক্ষণ করতে পারেন৷
   • Upstash Kafka হল প্রথম সার্ভারহীন কাফকা অফার। একটি পে-প্রতি-অনুরোধ মডেলের সাথে, আপনি শত শত ডলার না দিয়ে একটি সম্পূর্ণরূপে পরিচালিত কাফকা ক্লাস্টার পেতে পারেন৷ বিনামূল্যের স্তরের সাথে, আপনি সেকেন্ডের মধ্যে এবং আপনার ক্রেডিট কার্ড প্রবেশ না করে একটি কাফকা ক্লাস্টার তৈরি করতে পারেন৷ আপস্ট্যাশ টিম উপলব্ধতা, রক্ষণাবেক্ষণ, স্কেলিং, আপগ্রেড এবং অন্যান্য সমস্ত ক্লান্তিকর জিনিসগুলির যত্ন নেয় যখন আপনি আপনার অ্যাপে ফোকাস করেন৷

4. Upstash MongoDB উৎস সংযোগকারী

   • একটি MongoDB সোর্স সংযোগকারী হল একটি উপাদান যা ডেটা ইন্টিগ্রেশন এবং স্ট্রিমিং প্ল্যাটফর্মে ব্যবহৃত হয়, যেমন Apache Kafka Connect, একটি MongoDB ডাটাবেসের সাথে সংযোগ করতে এবং রিয়েল-টাইমে পরিবর্তন বা ঘটনাগুলি ক্যাপচার করতে৷
   • Upstash MongoDB সোর্স সংযোগকারী মঙ্গোডিবি থেকে অন্য সিস্টেম বা প্ল্যাটফর্মে ডেটা চলাচলের সুবিধা দেয়, যা নির্বিঘ্ন ডেটা ইন্টিগ্রেশন এবং বিশ্লেষণের অনুমতি দেয়৷

5. অ্যাপাচি স্পার্ক

   • অ্যাপাচি স্পার্ক হল একক-নোড মেশিন বা ক্লাস্টারে ডেটা ইঞ্জিনিয়ারিং, ডেটা সায়েন্স এবং মেশিন লার্নিং চালানোর জন্য একটি বহু-ভাষা ইঞ্জিন।
   • আপস্ট্যাশ কাফকাকে অ্যাপাচি স্পার্কের সাথে একীভূত করে যা আপস্ট্যাশ দ্বারা বাক্সের বাইরে দেওয়া হয়েছে, আপনি আপনার ওয়েব অ্যাপ্লিকেশন থেকে আপস্ট্যাশ কাফকাতে ট্র্যাফিক (ক্লিক) ইভেন্টগুলি স্ট্রিম করবেন তারপর আপনি এটিকে রিয়েল-টাইমে বিশ্লেষণ করতে পারবেন।
   • অ্যাপাচি স্পার্ক ব্যবহারকারীর অংশে আপডেট প্রক্রিয়াকরণের জন্য দায়ী থাকবে। Aerospike ডাটাবেস আপডেট করার জন্য প্রচার করার আগে এই আপডেটগুলি আপস্ট্যাশ কাফকার কাছে লেখা হবে৷

4. ডিজাইন চ্যালেঞ্জ

সেগমেন্টেশন ইঞ্জিনের ক্রমবর্ধমান গ্রহণ এবং ব্যবহার সিস্টেমের জন্য সম্ভাব্য কিছু চ্যালেঞ্জ প্রবর্তন করতে পারে।

• QPS বটলনেক লিখুন:আরও এবং বৃহত্তর সেগমেন্ট তৈরির ফলে প্রতি সেকেন্ডে (QPS) লেখার প্রশ্নে বাধা হতে পারে, যার ফলে সেগমেন্ট তৈরির জন্য দীর্ঘ সময় অপেক্ষা করা হয়।
• লোয়ার লেটেন্সি রিকোয়েস্ট:কিছু কমিউনিকেশন পাঠানোর জন্য খুব কম লেটেন্সি অর্জন করা খুবই গুরুত্বপূর্ণ, বিশেষ করে যখন একজন ব্যবহারকারী একটি নির্দিষ্ট সেগমেন্টের অন্তর্গত কিনা তা নির্ধারণ করা।

1. পড়ুন লেটেন্সি৷

   • অধিকন্তু, প্ল্যাটফর্মটি ক্রমাগত বিকশিত হতে থাকে, এমনকি পড়ার জন্য প্রয়োজনীয় <50ms লেটেন্সি সহ, একটি প্রত্যাশা রয়েছে যে এই গতি নির্দিষ্ট পরিষেবা এবং তাদের ভবিষ্যতের ব্যবহারের ক্ষেত্রে পর্যাপ্ত নাও হতে পারে৷

   • উদাহরণস্বরূপ, বিজ্ঞপ্তি পরিষেবাটি যোগাযোগ পাঠানোর আগে ব্যবহারকারী বিভাগের সদস্যতা নির্ধারণের জন্য দ্রুত চেকের প্রয়োজন বলে আশা করা হচ্ছে। প্রতিটি যোগাযোগের অনুরোধের জন্য বর্ধিত বিলম্বের প্রবর্তন ভবিষ্যতে অগ্রহণযোগ্য হবে বলে প্রত্যাশিত৷

2. কাফকা পরিকাঠামো পরিচালনা

   • কাফকা অবকাঠামো ব্যবহার করার সময় লেনদেনমূলক উত্স থেকে প্রতি মিনিটে লক্ষ লক্ষ ইভেন্ট পরিচালনা করা সত্যিই চ্যালেঞ্জ তৈরি করতে পারে, এবং এই জাতীয় উচ্চ থ্রুপুটের কার্যকর ব্যবস্থাপনার জন্য বিভিন্ন কারণের সতর্কতা বিবেচনার প্রয়োজন।

   • নিয়মিত কর্মক্ষমতা পরীক্ষা এবং অপ্টিমাইজেশান একটি উচ্চ-থ্রুপুট কাফকা পরিকাঠামো বজায় রাখার মূল চাবিকাঠি৷

3. MongoDB পরিবর্তন ডেটা ক্যাপচার

   • ওয়েব অ্যাপ্লিকেশানগুলি থেকে ইভেন্টগুলিকে একত্রিত করা, বিশেষ করে যখন সেগুলি MongoDB-এর মতো প্রথাগত লেনদেন ডেটাবেসে সংরক্ষণ করা হয় এবং তারপরে সেগুলিকে একটি ডেটা লেকে ঠেলে দেওয়া সত্যিই কিছু প্রচেষ্টা জড়িত৷

   • MongoDB দ্বারা প্রদত্ত পরিবর্তন ডেটা ক্যাপচার পদ্ধতি ব্যবহার করুন বা ডাটাবেসের পরিবর্তনগুলি ক্যাপচার করার জন্য একটি কাস্টম সমাধান প্রয়োগ করুন৷

5. প্রস্তাবিত সমাধান

1. পঠিত লেটেন্সি উন্নত করতে ক্যাশে Aerospike বিতরণ করা হয়েছে

   • Aerospike একটি ব্যবহারকারীর সেগমেন্ট ধারণ করবে যেখানে ইউজার আইডি ইউজার সেগমেন্ট অ্যাক্সেস করার জন্য প্রাথমিক কী হিসেবে কাজ করে।

   • উপরন্তু, আপনি সেগমেন্ট আইডিগুলিতে সেকেন্ডারি ইনডেক্সগুলিও প্রয়োগ করতে পারেন, সেগমেন্ট ব্যবহারকারীদের পুনরুদ্ধারকে স্ট্রিমলাইন করতে এবং সেগমেন্ট ব্যবহারকারীদের আলাদাভাবে সংরক্ষণ করার প্রয়োজনীয়তা দূর করতে পারেন

   • উপরন্তু, ডিজাইনের লক্ষ্য হল লেটেন্সি প্রয়োজনীয়তা মেটানো, যাতে এটি ক্যাশে হিসাবে কাজ করার সম্ভাবনা থাকে, সম্ভাব্যভাবে Redis-এর প্রয়োজনীয়তা প্রতিস্থাপন করে।

   • বর্তমান Aerospike-কে Upstash Redis-এর সাথে প্রতিস্থাপন করা হলে দুটি সেট ডেটা পরিচালনা করতে হবে:সেগমেন্ট ব্যবহারকারী এবং ব্যবহারকারী সেগমেন্ট।

2. কাফকা পরিকাঠামো পরিচালনার জন্য সার্ভারহীন আপস্ট্যাশ কাফকা

   • Upstash Kafka এর সাথে, আপনি একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা পান। এটি বোঝায় যে Upstash সমস্ত প্রযুক্তিগত কাজ পরিচালনা করে, যেমন সার্ভার প্রভিশনিং, স্কেলিং এবং কাফকা ক্লাস্টার চালানোর সাথে জড়িত রক্ষণাবেক্ষণ।

   • এটি অবকাঠামো সেট আপ করা, সবকিছু সঠিকভাবে কাজ করা এবং সময়ের সাথে সাথে এটি বজায় রাখার মতো বিষয়গুলি নিয়ে আপনার চিন্তা করার প্রয়োজনীয়তা দূর করে৷

   • এটি আপনাকে আপনার অনন্য প্রয়োজনীয়তা এবং উদ্দেশ্যগুলির জন্য কাফকাকে ব্যবহার করার উপর ফোকাস করতে দেয়। পরিকাঠামো পরিচালনার ভার ছাড়াই, আপনি এখন আপনার শক্তিকে আপনার অ্যাপ্লিকেশনের সামগ্রিক গুণমান বাড়ানোর জন্য ব্যবহার করতে পারেন, বিশেষ করে দ্রুত বিকশিত উন্নয়ন পরিবেশে৷

   • মূল্য শূন্যে স্কেল: আপনি যদি সক্রিয়ভাবে এটি ব্যবহার না করেন তবে একটি সত্যিকারের সার্ভারহীন অফার আপনাকে চার্জ করা উচিত নয়। প্রতি অনুরোধ মূল্য আমাদের সবচেয়ে অসামান্য বৈশিষ্ট্য. আপনি প্রথম দিন থেকেই এই মূল্যের মডেলের সাথে মানানসই করার জন্য আপনার পণ্য এবং অবকাঠামো ডিজাইন করছেন। এর জন্য নির্দিষ্ট খরচ কমিয়ে আনা প্রয়োজন, যা কাফকার মতো জন্তুর পক্ষে বেশ কঠিন৷

   • ব্যবহারকারীর জন্য কোন অপারেশনাল বোঝা নেই: ব্যবহারকারী কাফকা বিষয় তৈরি করে এবং এটি ব্যবহার করা শুরু করে। উচ্চ প্রাপ্যতা, পরিমাপযোগ্যতা, আপগ্রেড, ব্যাকআপ… এটা আমাদের সব দায়িত্ব।

   • সংযোগহীন: সার্ভারহীন ফাংশন স্টেট ধরে না। সুতরাং আপনি একটি রাষ্ট্রহীন সংযোগের মাধ্যমে আপনার ডেটা অ্যাক্সেস করতে সক্ষম হওয়া উচিত। আমাদের কাফকা অফারটি Kafka TCP প্রোটোকলকে সমর্থন করে তাই সমস্ত Kafka ক্লায়েন্ট Upstash এর সাথে কাজ করবে। AWS Lambda বা Cloudflare Workers এর মতো সংযোগহীন পরিবেশ সক্ষম করতে আপনার কাছে একটি বিল্ট-ইন REST APIও রয়েছে৷

3. Upstash MongoDB সোর্স সংযোগকারী ব্যবহার করে MongoDB CDC

   • কাফকা কানেক্ট হল কোডের একটি লাইন না লিখে অ্যাপাচি কাফকা এবং অন্যান্য সিস্টেমের মধ্যে ডেটা স্ট্রিম করার একটি টুল। কাফকা সিঙ্ক সংযোগকারীর মাধ্যমে, আপনি আপনার ডেটা অন্য কোনো স্টোরেজে রপ্তানি করতে পারেন। কাফকা সোর্স সংযোগকারীর মাধ্যমে, আপনি অন্যান্য সিস্টেম থেকে আমাদের কাফকা বিষয়গুলিতে ডেটা টেনে আনতে পারেন৷

   • কাফকা সংযোগকারীগুলি স্ব-হোস্ট করা যেতে পারে তবে এর জন্য আপনাকে অতিরিক্ত প্রক্রিয়া/মেশিন সেটআপ এবং বজায় রাখতে হবে। Upstash আপনার কাফকা ক্লাস্টারের জন্য সংযোগকারীর হোস্ট করা সংস্করণ প্রদান করে। এটি আপনার কাছ থেকে একটি অতিরিক্ত সিস্টেম বজায় রাখার ভার পাবে এবং এটি আপনার ক্লাস্টারের কাছাকাছি হওয়ার কারণে এটি আরও কার্যকর হবে৷

6. ক্লোজিং নোটস

এই ব্লগ পোস্টটি Upstash দ্বারা প্রদত্ত একটি লো-লেটেন্সি সেগমেন্টেশন প্ল্যাটফর্মের লিভারেজিং প্রযুক্তির ডিজাইন নীতিগুলি অন্বেষণ করে৷ অবকাঠামোটি নির্বিঘ্নে স্কেল করার জন্য তৈরি করা হয়েছে, লক্ষ লক্ষ ব্যবহারকারীকে মিটমাট করে এবং ডেটা লেকে সঞ্চিত টেরাবাইট ডেটা পরিচালনা করে৷