কম্পিউটার টিউটোরিয়াল

পাইথনে টেনসরফ্লো ব্যবহার করে ইলিয়ড (Iliad) ডেটাসেট থেকে র‍ স্ট্রিংস (raw strings) এর ডেটাসেট তৈরি করার পদ্ধতি


টেনসরফ্লো গুগল দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে মিলে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নে ব্যবহৃত হয়। গবেষণা এবং প্রোডাকশন উদ্দেশ্যে এটি ব্যবহৃত হয়।

Windows-এ 'tensorflow' প্যাকেজ ইনস্টল করার জন্য নিচের কোড লাইনটি ব্যবহার করুন:

pip install tensorflow

টেনসর টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি ফ্লো ডায়াগ্রামে এজ সংযোগ করতে সাহায্য করে। এই ফ্লো ডায়াগ্রামকে 'ডেটা ফ্লো গ্রাফ' (Data flow graph) বলা হয়। টেনসর আসলে একটি বহু-মাত্রিক অ্যারে বা একটি লিস্ট।

আমরা ইলিয়ড'র (Iliad's) ডেটাসেট ব্যবহার করব, যাতে উইলিয়াম কাউপার (William Cowper), এডওয়ার্ড (অর্ল অফ ডার্বি) এবং স্যামুয়েল বटलারের তিনটি অনুবাদ কাজের টেক্সট ডেটা রয়েছে। মডেলটি একটি একক লাইন টেক্সট দেওয়া হলে অনুবাদককে চিনতে প্রশিক্ষিত। ব্যবহৃত টেক্সট ফাইলগুলো প্রি-প্রসেসড (preprocessed) হয়েছে। এতে ডকুমেন্ট হেডার এবং ফুটার, লাইন নম্বর এবং চ্যাপ্টার টাইটেল সরানো হয়েছে।

নিচের কোড চালানোর জন্য আমরা Google Colaboratory ব্যবহার করব। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশন ও GPU (গ্রাফিক্যাল প্রসেসিং ইউনিটস) ফ্রি 억্সেস দেয়। Colaboratory জুপিটার নোটবুকের উপরে তৈরি।

উদাহরণ

নিচে কোড স্নিপেট দেওয়া হলো:

print("Creating a test dataset that consists of raw strings")
test_ds = all_labeled_data.take(VALIDATION_SIZE).batch(BATCH_SIZE)
test_ds = configure_dataset(test_ds)
loss, accuracy = export_model.evaluate(test_ds)
print("The loss is : ", loss)
print("The accuracy is: {:2.2%}".format(accuracy))

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

Creating a test dataset that consists of raw strings 79/79 [==============================] - 7s 10ms/step - loss: 0.5230 - accuracy: 0.7909 The loss is : 0.5458346605300903 The accuracy is: 78.16%

ব্যাখ্যা

  • একটি টেস্ট ডেটাসেট তৈরি করা হয় যেখানে ডেটা নির্দিষ্ট ব্যাচ সাইজ (batch size) অনুযায়ী গ্রুপ করা হয়।

  • এই ডেটা 'evaluate' মেথড ব্যবহার করে ইভ্যালুয়েট (evaluate) করা হয়।

  • ট্রেনিং ডেটার সাথে যুক্ত লস (loss) এবং এক্যুরেসি (accuracy) কনসোলে প্রদর্শিত হয়।


  1. পাইথনে টেনসরফ্লো ও প্রি-ট্রেনড মডেল দিয়ে ডেটা ভিজ্যুয়ালাইজ করা

  2. টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে মডেল ট্রেন (train) করতে ব্যবহৃত হয়?

  3. টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে ডেটা ভিজুয়ালাইজ (visualize) করতে ব্যবহৃত হয়?

  4. টেনসরফ্লোতে ফ্লাওয়ার ডেটাসেট ভিজ্যুয়ালাইজ করা