CluStream অ্যালগরিদমের ওভারভিউ
CluStream হল ব্যবহারকারী-নির্দিষ্ট, অনলাইন ক্লাস্টারিং কোয়েরি ভিত্তিক অভিবর্ধমান ডেটা স্ট্রিমের ক্লাস্টারিং 위한 একটি অ্যালগরিদম। এটি ক্লাস্টারিং প্রক্রিয়াকে অনলাইন এবং অফলাইন উপাদানে ভাগ করে।
অনলাইন উপাদান মাইক্রো-ক্লাস্টার ব্যবহার করে ডেটা স্ট্রিমের সারসংক্ষেপ পরিসংখ্যান গণনা ও সংরক্ষণ করে, এবং মাইক্রো-ক্লাস্টারগুলির ক্রমাগত অনলাইন গণনা ও রক্ষণাবেক্ষণ করে। অফলাইন উপাদান ম্যাক্রো-ক্লাস্টারিং করে এবং সংরক্ষিত সারসংক্ষেপ পরিসংখ্যান ব্যবহার করে ব্যবহারকারীর বিভিন্ন প্রশ্নের উত্তর দেয়, যা ঝুঁকিপূর্ণ টাইম ফ্রেম মডেলের ভিত্তিতে।
ঝুঁকিপূর্ণ টাইম ফ্রেম মডেল
ঐতিহাসিক ও বর্তমান স্ট্রিম ডেটা তথ্য উভয় ভিত্তিক করে অভিবর্ধমান ডেটা স্ট্রিমের ক্লাস্টার করার জন্য, ঝুঁকিপূর্ণ টাইম ফ্রেম মডেল (যেমন: প্রগতিশীল লগারিদমিক মডেল) অবলম্বন করা হয়, যা মাইক্রো-ক্লাস্টারগুলির স্ন্যাপশটগুলি সাম্প্রতিকতার ভিত্তিতে বিভিন্ন গ্রানুলারিটির স্তরে সংরক্ষণ করে।
এখানে trựcবোধ হল সাম্প্রতিক ঘটনাগুলোর জন্য পুরনো ঘটনাগুলোর চেয়ে বেশি তথ্য প্রয়োজন। সংরক্ষিত তথ্যটি ইতিহাস-সংক্রান্ত, ব্যবহারকারী-নির্দিষ্ট ক্লাস্টারিং কোয়েরি প্রক্রিয়াকরণের জন্য ব্যবহার করা যেতে পারে। CluStream-এ একটি মাইক্রোক্লাস্টার একটি ক্লাস্টারিং বৈশিষ্ট্য হিসেবে সংজ্ঞায়িত।
মাইক্রোক্লাস্টার এবং ক্লাস্টারিং বৈশিষ্ট্য
CluStream BIRCH-এ বিকশিত ক্লাস্টারিং বৈশিষ্ট্যের ধারণাকে কালিক ডোমেন অন্তর্ভুক্ত করতে প্রসারিত করে। ক্লাস্টারিং বৈশিষ্ট্যের একটি কালিক প্রসারন হিসেবে, d-মাত্রিক পয়েন্টগুলির একটি সেট, X₁, ..., Xₙ, টাইমস্ট্যাম্প T₁,...,Tₙ সহ, একটি মাইক্রোক্লাস্টার সংজ্ঞায়িত হয় (2d + 3) টাপল (CF2ˣ, CF1ˣ, CF2ᵗ, CF1ᵗ, n) হিসেবে, যেখানে CF2ˣ এবং CF1ˣ d-মাত্রিক ভেক্টর, আর CF2ᵗ, CF1ᵗ, এবং n স্কেলার।
CF2ˣ প্রতিটি মাত্রার জন্য ডেটা মানগুলোর বর্গের যোগফল ধরে, অর্থাৎ Σᵢ Xᵢ²। একইভাবে, প্রতিটি মাত্রার জন্য ডেটা মানগুলোর যোগফল CF1ˣ-এ রক্ষা থাকে। পরিসংখ্যানিক দৃষ্টিকোণ থেকে, CF2ˣ এবং CF1ˣ যথাক্রমে ডেটার দ্বিতীয় ও প্রথম ক্রমের মুমেন্ট উপস্থাপন করে। টাইমস্ট্যাম্পগুলোর বর্গের যোগফল CF2ᵗ-এ থাকে। টাইমস্ট্যাম্পগুলোর যোগফল CF1ᵗ-এ থাকে। এবং মাইক্রোক্লাস্টারের ডেটা পয়েন্টের সংখ্যা n-এ থাকে।
ক্লাস্টারিং বৈশিষ্ট্যের গুণাবলী
ক্লাস্টারিং বৈশিষ্ট্য들이 যোগ ও বিয়োগের গুণাবলী ধারণ করে, যা ডেটা স্ট্রিম ক্লাস্টার বিশ্লেষণে সেগুলো খুব উপকারী করে তোলে। উদাহরণস্বরূপ, দুটি মাইক্রোক্লাস্টার তাদের রেসপেক্টিভ ক্লাস্টারিং বৈশিষ্ট্য যোগ করে মার্জ করা যায়। കൂടാതে, বড় পরিমাণ মাইক্রোক্লাস্টার কম মেমরি খরচে রক্ষণাবেক্ষণ করা যায়। এই মাইক্রোক্লাস্টারগুলির স্ন্যাপশটগুলি ঝুঁকিপূর্ণ টাইম ফ্রেমের ভিত্তিতে সময়ের কী বিন্দুতে সংরক্ষিত থাকে।
অনলাইন মাইক্রোক্লাস্টার প্রক্রিয়াকরণ
অনলাইন মাইক্রোক্লাস্টার প্রক্রিয়াকরণ দুটি ফেজে বিভক্ত: পরিসংখ্যানিক ডেটা সংগ্রহ এবং মাইক্রোক্লাস্টার আপডেট করা। প্রথম ফেজে, মোট q সংখ্যক মাইক্রোক্লাস্টার, M₁,..., M_q, রক্ষণাবেক্ষণ করা হয়, যেখানে q সাধারণত প্রাকৃতিক ক্লাস্টার সংখ্যার চেয়ে উল্লেখযোগ্যভাবে বড় এবং উপলব্ধ মেমরির ওপর নির্ভর করে।
দ্বিতীয় ফেজে, মাইক্রোক্লাস্টার আপডেট করা হয়। প্রতিটি নতুন ডেটা পয়েন্ট একটি বিদ্যমান ক্লাস্টারে বা একটি নতুন ক্লাস্টারে যোগ করা হয়। এটি নির্ধারণ করতে পারে কি নতুন ক্লাস্টার প্রয়োজন, প্রতিটি ক্লাস্টারের জন্য একটি সর্বাধিক সীমানা সংজ্ঞায়িত করা হয়।
