হোফডিং ট্রি অ্যালগরিদম কী?

হোফডিং ট্রি অ্যালগরিদমের পরিচয়

হোফডিং ট্রি অ্যালগরিদম স্ট্রিম ডেটা শ্রেণিবিন্যাসের জন্য একটি সিদ্ধান্ত গাছ শেখার পদ্ধতি। এটি প্রাথমিকভাবে ওয়েব ক্লিকস্ট্রিম ট্র্যাক করতে এবং মডেল তৈরি করতে ব্যবহৃত হতো যাতে পূর্বাভাস দেওয়া যায় কোন ওয়েব হোস্ট ও ওয়েবসাইট একজন ব্যবহারকারী অ্যাক্সেস করবে। এটি সাধারণত সাব-লিনিয়ার টাইমে চলে এবং ঐতিহ্যবাহী ব্যাচ শেখার примерно অভিন্ন সিদ্ধান্ত গাছ তৈরি করে।

হোফডিং বাউন্ড এবং অ্যাট্রিবিউট নির্বাচন

এটি হোফডিং ট্রি ব্যবহার করে, যা এই ধারণাটি khai khai করে যে একটি ছোট নমুনা প্রায়ই একটি সর্বোত্তম বিভাজন অ্যাট্রিবিউট বেছে নেওয়ার জন্য পর্যাপ্ত। এই ধারণাটি গাণিতিকভাবে হোফডিং বাউন্ড (বা অ্যাডিটিভ চেরনফ বাউন্ড) দ্বারা সমর্থিত।

মনে করুন, আমরা একটি র‍্যান্ডম ভেরিয়েবল r-এর N স্বতন্ত্র পর্যবেক্ষণ করি যার রেঞ্জ R, যেখানে r একটি অ্যাট্রিবিউট নির্বাচন মাপ। (একটি xác suất-এর জন্য R হল এক, এবং ইনফরমেশন গেইনের জন্য এটি log c, যেখানে c হল ক্লাসের সংখ্যা।) হোফডিং ট্রির ক্ষেত্রে, r হল ইনফরমেশন গেইন। যদি আমরা এই নমুনার গড়, r′, গণনা করি, তবে হোফডিং বাউন্ড বলে যে r-এর আসল গড় কমপক্ষে r′ − ε, ১ − δ xác suấtের সাথে, যেখানে δ ব্যবহারকারী-নির্দিষ্ট এবং

ε = √(R² ln(1/δ) / 2N)

অ্যালগরিদমের কার্যপ্রণালী

হোফডিং ট্রি অ্যালগরিদম হোফডিং বাউন্ড ব্যবহার করে উচ্চ xác suấtের সাথে নির্ধারণ করে, একটি নোডে বিভাজন অ্যাট্রিবিউট নির্বাচন করার সময় প্রয়োজনীয় সর্বনিম্ন উদাহরণ সংখ্যা, N। হোফডিং বাউন্ড সম্ভাবনা বিতরণ থেকে স্বতন্ত্র, অন্যান্য অধিকাংশ বাউন্ড সমীকরণের বিপরীতে। এটি সুবিধাজনক, কারণ ইনফরমেশন গেইন বা যে কোনো অ্যাট্রিবিউট নির্বাচন মাপের সম্ভাবনা বিতরণ জানা অসম্ভব হতে পারে।

অ্যালগরিদম ইনপুট হিসেবে গ্রহণ করে একটি প্রশিক্ষণ উদাহরণের ক্রম, S, যা অ্যাট্রিবিউট A দ্বারা বর্ণিত, এবং নির্ভুলতা প্যারামিটার, δ। মূল্যায়ন ফাংশন G(Aᵢ) সরবরাহ করা হয়, যা হতে পারে ইনফরমেশন গেইন, গেইন রেশিও, জিনি সূচক, বা অন্য কোনো অ্যাট্রিবিউট নির্বাচন মাপ। সিদ্ধান্ত গাছের প্রতিটি নোডে, আমাদের বাকি অ্যাট্রিবিউটগুলির একটি, Aᵢ-এর জন্য G(Aᵢ) সর্বাধিক করতে হবে। লক্ষ্য হল সese নমুনা সংখ্যা, N, খুঁজে বের করা যাতে হোফডিং বাউন্ড সন্তুষ্ট হয়।

একটি প্রদত্ত নোডের জন্য, Aₐ হল সেই অ্যাট্রিবিউট যা সর্বোচ্চ G অর্জন করে, এবং A_b হল দ্বিতীয় সর্বোচ্চ G অর্জন করে। যদি G(Aₐ) − G(A_b) > ε, যেখানে ε গণনা করা হয়।

মেমরি প্রয়োজনীয়তা

হোফডিং ট্রি অ্যালগরিদমে রক্ষণাবেক্ষণ করার একমাত্র পরিসংখ্যান হল অ্যাট্রিবিউট Aᵢ-এর মান vⱼ ক্লাস লেবেল yₖ সহ কাউন্ট nᵢⱼₖ। অতএব, যদি d হল অ্যাট্রিবিউটের সংখ্যা, v হল যেকোনো অ্যাট্রিবিউটের জন্য সর্বাধিক মান সংখ্যা, c হল ক্লাসের সংখ্যা, এবং l হল গাছের সর্বাধিক গভীরতা (অথবা স্তরের সংখ্যা), তবে মোট মেমরি প্রয়োজন O(ldvc)।