ব্যাকপ্রোপাগেশন: সংজ্ঞা এবং বৈশিষ্ট্য
ব্যাকপ্রোপাগেশন পুরো প্রসেসকে সংজ্ঞায়িত করে যাতে গ্রেডিয়েন্ট ক্যালকুলেশন এবং স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট-এ তার প্রয়োজন উভয়ই অন্তর্ভুক্ত থাকে। টেকনিক্যালি, ব্যাকপ্রোপাগেশন নেটওয়ার্কের মডিফাইয়েবল ওয়েটের সাপেক্ষে নেটওয়ার্কের এররের গ্রেডিয়েন্ট ক্যালকুলেট করতে ব্যবহৃত হয়।
ব্যাকপ্রোপাগেশন-এর বৈশিষ্ট্যগুলো হলো ইটেরেটিভ, রিকারসিভ এবং ইফেক্টিভ পদ্ধতি যার মাধ্যমে এটি আপডেটেড ওয়েট কম্পিউট করে নেটওয়ার্ক বাড়াতে যতক্ষণ না সেটি সেটি প্রশিক্ষণের জন্য যে সার্ভিসের জন্য এটা ট্রেইন করা হচ্ছে সেটি বাস্তবায়ন করতে পারছে না। ব্যাকপ্রোপাগেশনের জন্য অ্যাক্টিভেশন ফাংশনের ডেরিভেটিভ নেটওয়ার্ক ডিজাইন টাইমে জানা প্রয়োজন।
ব্যাকপ্রোপাগেশন নিউরাল নেটওয়ার্ক ট্রেইনিং-এ ব্যাপকভাবে ব্যবহৃত হয় এবং নেটওয়ার্কের ওয়েটের জন্য লস ফাংশন ক্যালকুলেট করে। এটি মাল্টি-লെയার নিউরাল নেটওয়ার্কের সাথে কাজ করে এবং ইনপুট-আউটপুট ম্যাপিং-এর ইন্টারনাল রিপ্রেজেন্টেশন আবিষ্কার করে।
এটি আর্টিফিশিয়াল নেটওয়ার্ক ট্রেইনিংয়ের একটি স্ট্যান্ডার্ড ফর্ম, যা নেটওয়ার্কের সকল ওয়েটের সাপেক্ষে গ্রেডিয়েন্ট লস ফাংশন কম্পিউট করতে সাহায্য করে। ব্যাকপ্রোপাগেশন অ্যালগরিদম চেইন রুল মেথড দিয়ে নিউরাল নেটওয়ার্ক আরও কার্যকরভাবে ট্রেইন করতে ব্যবহৃত হয়।
এই গ্রেডিয়েন্টটি একটি সিম্পল স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট অ্যালগরিদমে ব্যবহার হয় যাতে এমন ওয়েট বের করা যায় যা এরর মিনিমাইজ করে। এরর আউটপুট নোড থেকে ইনার নোডের দিকে পिछো প্রয়াণ করে।
ব্যাকপ্রোপাগেশন ট্রেইনিং অ্যালগরিদমের ৪টি ধাপ
ওয়েট ইনিশিয়ালাইজেশন (Initialization of weights): কিছু ছোট র্যান্ডম ভ্যালু অ্যাসাইন করা হয়।
ফিড-ফরওয়ার্ড (Feed-forward): প্রতিটি ইউনিট X ইনপুট সিগন্যাল রিসিভ করে এবং এই সিগন্যালকে প্রতিটি হিডেন ইউনিট Z1, Z2,... Zn-এ ট্রান্সমিট করে। প্রতিটি হিডেন ইউনিট অ্যাক্টিভেশন ফাংশন ক্যালকুলেট করে এবং এর সিগন্যাল Z1 আউটপুট ইউনিটে পাঠায়। আউটপুট ইউনিট অ্যাক্টিভেশন ফাংশন ক্যালকুলেট করে দিয়ে দিয়ে ইনপুট প্যাটার্নের রেসপন্স ফর্ম করে।
এরর ব্যাকপ্রোপাগেশন (Backpropagation of errors): প্রতিটি আউটপুট ইউনিট অ্যাক্টিভেশন Yk কে টার্গেট ভ্যালু Tk এর সাথে কম্পেয়ার করে সেই ইউনিটের জন্য জড়িত এরর নির্ধারণ করে। এররর ওপর ভিত্তি করে, ফ্যাক্টর $\delta$k (K = 1, ... . m) কম্পিউট করা হয় এবং আউটপুট ইউনিট Yk-এ থেকে এররকে পূর্ববর্তী লেয়ারের সকল ইউনিটে বিতরণ করতে ব্যবহৃত হয়। অনুরূপভাবে ফ্যাক্টর $\delta$j (j = 1, ... . p) প্রতিটি হিডেন ইউনিট Zj এর জন্য কম্পিউট করা হয়।
ওয়েট এবং বায়াস আপডেট করা হয়।
ব্যাকপ্রোপাগেশন-এর প্রকারভেদ
স্ট্যাটিক ব্যাক প্রপাগেশন (Static Back Propagation)
এই টাইপের ব্যাকপ্রোপাগেশনে, স্ট্যাটিক ইনপুটের ম্যাপিংয়ের কারণে স্ট্যাটিক আউটপুট তৈরি হয়। এটি স্ট্যাটিক ক্লাসিফিকেশন প্রাবলেম সমাধান করতে ব্যবহৃত হয় যেমন অপ্টিক্যাল ক্যারেক্টার রিকগনিশন।
রিকারেন্ট ব্যাকপ্রোপাগেশন (Recurrent Backpropagation)
রিকারেন্ট প্রপাগেশন ফরওয়ার্ড ডিরেক্টেড হয় বা নির্দিষ্ট ডিটার্মিনড ভ্যালু বা থ্রেশহোল্ড ভ্যালু পাওয়া পর্যন্ত চলতে থাকে। নির্দিষ্ট ভ্যালু পাওয়ার পর, এরর ইভ্যালুয়েট করা হয় এবং পिछো প্রয়াণ করা হয়।
