টেনসরফ্লো গুগল দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে মিলে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নে ব্যবহৃত হয়। গবেষণা এবং প্রোডাকশন উদ্দেশ্যে এটি ব্যবহৃত হয়।
Windows-এ 'tensorflow' প্যাকেজ ইনস্টল করার জন্য নিচের কোড লাইনটি ব্যবহার করুন:
pip install tensorflow
টেনসর টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি ফ্লো ডায়াগ্রামে এজ সংযোগ করতে সাহায্য করে। এই ফ্লো ডায়াগ্রামকে 'ডেটা ফ্লো গ্রাফ' (Data flow graph) বলা হয়। টেনসর আসলে একটি বহু-মাত্রিক অ্যারে বা একটি লিস্ট।
আমরা ইলিয়ড'র (Iliad's) ডেটাসেট ব্যবহার করব, যাতে উইলিয়াম কাউপার (William Cowper), এডওয়ার্ড (অর্ল অফ ডার্বি) এবং স্যামুয়েল বटलারের তিনটি অনুবাদ কাজের টেক্সট ডেটা রয়েছে। মডেলটি একটি একক লাইন টেক্সট দেওয়া হলে অনুবাদককে চিনতে প্রশিক্ষিত। ব্যবহৃত টেক্সট ফাইলগুলো প্রি-প্রসেসড (preprocessed) হয়েছে। এতে ডকুমেন্ট হেডার এবং ফুটার, লাইন নম্বর এবং চ্যাপ্টার টাইটেল সরানো হয়েছে।
নিচের কোড চালানোর জন্য আমরা Google Colaboratory ব্যবহার করব। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশন ও GPU (গ্রাফিক্যাল প্রসেসিং ইউনিটস) ফ্রি 억্সেস দেয়। Colaboratory জুপিটার নোটবুকের উপরে তৈরি।
উদাহরণ
নিচে কোড স্নিপেট দেওয়া হলো:
print("The customized pre-processing step")
preprocess_layer = TextVectorization(
max_tokens=vocab_size,
standardize=tf_text.case_fold_utf8,
split=tokenizer.tokenize,
output_mode='int',
output_sequence_length=MAX_SEQUENCE_LENGTH)
preprocess_layer.set_vocabulary(vocab)
print("The model is being exported")
export_model = tf.keras.Sequential(
[preprocess_layer, model,
layers.Activation('sigmoid')])
কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text
আউটপুট
The customized pre-processing step The model is being exported
ব্যাখ্যা
আমাদের মডেল র স্ট্রিংস (raw strings) ইনপুট হিসেবে নিতে চাইলে, আমাদের একটি 'textVectorization' লেয়ার তৈরি করতে হবে যা প্রি-প্রসেসিংয়ের মতো কাজ করে।
ভোক্যাবুলারি (vocabulary) ইতিমধ্যে প্রশিক্ষিত, তাই আমরা নতুন ভোক্যাবুলারি প্রশিক্ষণের জন্য 'set_vocabulary' মেথড ব্যবহার করতে পারি।
