Tensorflow হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উৎপাদন উদ্দেশ্যে ব্যবহৃত হয়।
'টেনসরফ্লো' প্যাকেজটি নীচের কোড-
লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারেpip install tensorflow
টেনসর হল টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি প্রবাহ চিত্রে প্রান্তগুলিকে সংযুক্ত করতে সহায়তা করে। এই ফ্লো ডায়াগ্রামটি 'ডেটা ফ্লো গ্রাফ' নামে পরিচিত। টেনসরগুলি একটি বহুমাত্রিক অ্যারে বা একটি তালিকা ছাড়া কিছুই নয়৷
আমরা ইলিয়াডের ডেটাসেট ব্যবহার করব, যাতে উইলিয়াম কাউপার, এডওয়ার্ড (আর্ল অফ ডার্বি) এবং স্যামুয়েল বাটলারের তিনটি অনুবাদ কাজের পাঠ্য ডেটা রয়েছে৷ পাঠ্যের একটি লাইন দেওয়া হলে মডেলটিকে অনুবাদককে সনাক্ত করতে প্রশিক্ষিত করা হয়। ব্যবহৃত টেক্সট ফাইল প্রিপ্রসেসিং করা হয়েছে. এর মধ্যে রয়েছে নথির শিরোনাম এবং ফুটার, লাইন নম্বর এবং অধ্যায়ের শিরোনাম অপসারণ৷
আমরা নিচের কোডটি চালানোর জন্য Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।
উদাহরণ
নিচের কোড স্নিপেট −
print("The customized pre-processing step")
preprocess_layer = TextVectorization(
max_tokens=vocab_size,
standardize=tf_text.case_fold_utf8,
split=tokenizer.tokenize,
output_mode='int',
output_sequence_length=MAX_SEQUENCE_LENGTH)
preprocess_layer.set_vocabulary(vocab)
print("The model is being exported")
export_model = tf.keras.Sequential(
[preprocess_layer, model,
layers.Activation('sigmoid')]) কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text
আউটপুট
The customized pre-processing step The model is being exported
ব্যাখ্যা
-
আমরা যদি আমাদের মডেলকে ইনপুট হিসাবে কাঁচা স্ট্রিং নিতে চাই, আমরা একটি 'টেক্সটভেক্টরাইজেশন' স্তর তৈরি করতে চাই যা প্রিপ্রসেসিংয়ের মতো একই কাজ সম্পাদন করে৷
-
শব্দভাণ্ডারটি ইতিমধ্যেই প্রশিক্ষিত হয়েছে, যার মানে আমরা নতুন শব্দভাণ্ডার প্রশিক্ষণের জন্য ‘set_vocabulary’ পদ্ধতি ব্যবহার করতে পারি।
