কম্পিউটার

পাইথন ব্যবহার করে ইলিয়াড ডেটাসেট থেকে কাঁচা স্ট্রিংগুলির ডেটাসেট তৈরি করতে Tensorflow কীভাবে ব্যবহার করা যেতে পারে?


Tensorflow হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উৎপাদন উদ্দেশ্যে ব্যবহৃত হয়।

'টেনসরফ্লো' প্যাকেজটি নীচের কোড-

লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারে
pip install tensorflow

টেনসর হল টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি প্রবাহ চিত্রে প্রান্তগুলিকে সংযুক্ত করতে সহায়তা করে। এই ফ্লো ডায়াগ্রামটি 'ডেটা ফ্লো গ্রাফ' নামে পরিচিত। টেনসরগুলি একটি বহুমাত্রিক অ্যারে বা একটি তালিকা ছাড়া কিছুই নয়৷

আমরা ইলিয়াডের ডেটাসেট ব্যবহার করব, যাতে উইলিয়াম কাউপার, এডওয়ার্ড (ডার্বির আর্ল) এবং স্যামুয়েল বাটলারের তিনটি অনুবাদ কাজের পাঠ্য ডেটা রয়েছে৷ যখন পাঠ্যের একটি লাইন দেওয়া হয় তখন মডেলটিকে অনুবাদক সনাক্ত করতে প্রশিক্ষিত করা হয়। ব্যবহৃত টেক্সট ফাইল প্রিপ্রসেসিং করা হয়েছে. এর মধ্যে রয়েছে নথির শিরোনাম এবং ফুটার, লাইন নম্বর এবং অধ্যায়ের শিরোনাম অপসারণ৷

আমরা নিচের কোডটি চালানোর জন্য Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।

উদাহরণ

নিম্নলিখিত কোড স্নিপেট -

print("Creating a test dataset that consists of raw strings")
test_ds = all_labeled_data.take(VALIDATION_SIZE).batch(BATCH_SIZE)
test_ds = configure_dataset(test_ds)
loss, accuracy = export_model.evaluate(test_ds)
print("The loss is : ", loss)
print("The accuracy is: {:2.2%}".format(accuracy))

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

Creating a test dataset that consists of raw strings
79/79 [==============================] - 7s 10ms/step - loss: 0.5230 - accuracy: 0.7909
The loss is : 0.5458346605300903
The accuracy is: 78.16%

ব্যাখ্যা

  • একটি পরীক্ষা ডেটাসেট তৈরি করা হয় যেখানে ডেটা নির্দিষ্ট ব্যাচ আকারে গোষ্ঠীভুক্ত করা হয়৷

  • এই ডেটা 'মূল্যায়ন' পদ্ধতি ব্যবহার করে মূল্যায়ন করা হয়।

  • প্রশিক্ষণ ডেটার সাথে সম্পর্কিত ক্ষতি এবং নির্ভুলতা কনসোলে প্রদর্শিত হয়৷


  1. পাইথন ব্যবহার করে ডেটা ভিজ্যুয়ালাইজ করার জন্য টেনসরফ্লো এবং প্রাক-প্রশিক্ষিত মডেল কীভাবে ব্যবহার করা যেতে পারে?

  2. পাইথন ব্যবহার করে মডেলকে প্রশিক্ষণ দেওয়ার জন্য কীভাবে টেনসরফ্লো ব্যবহার করা যেতে পারে?

  3. পাইথন ব্যবহার করে ডেটা ভিজ্যুয়ালাইজ করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?

  4. পাইথন ব্যবহার করে ফুলের ডেটাসেটটি কল্পনা করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?