পাইথন ব্যবহার করে TensorFlow-এর মাধ্যমে স্ট্যাকওভারফ্লো প্রশ্ন ডেটাসেটে মডেলের কর্মক্ষমতা কীভাবে পরীক্ষা করা যায়?

TensorFlow হল Google দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে মিলিত होकर অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন, এবং আরও অনেক কিছু বাস্তবায়ন করতে ব্যবহৃত হয়। এটি গবেষণা এবং প্রোডাকশন উদ্দেশ্যে ব্যবহৃত হয়।

TensorFlow ইনস্টলেশন

Windows-এ 'tensorflow' প্যাকেজটি নিচের কোড লাইন ব্যবহার করে ইনস্টল করা যেতে পারে:

pip install tensorflow

টেনসর সম্পর্কে

টেনসর হল TensorFlow-এ ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি ফ্লো ডায়াগ্রামে প্রান্তাগুলিকে সংযুক্ত করতে সাহায্য করে। এই ফ্লো ডায়াগ্রামটিকে 'ডেটা ফ্লো গ্রাফ' নামে ডাকা হয়। টেনসরها অন্য কিছু নয়, বরং বহু-মাত্রিক অ্যারে বা একটি তালিকা।

Google Colaboratory ব্যবহার

নিচের কোড চালানোর জন্য আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারের মাধ্যমে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশন এবং GPU-তে (গ্রাফিক্যাল প্রসেসিং ইউনিট) বিনামূল্যে অ্যাক্সেস প্রদান করে। Colaboratory Jupyter Notebook-এর উপরে তৈরি করা হয়েছে।

উদাহরণ

নিচে কোড স্নিপেট দেওয়া হল:

print("Testing the model with new data")
inputs = [
    "how do I extract keys from a dict into a list?",
    "debug public static void main(string[] args) {...}",
]
print("Predicting the scores ")
predicted_scores = export_model.predict(inputs)
print("Predicting the labels")
predicted_labels = get_string_labels(predicted_scores)
for input, label in zip(inputs, predicted_labels):
    print("Question is: ", input)
    print("The predicted label is : ", label.numpy())

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

Testing the model with new data
Predicting the scores
Predicting the labels
Question is: how do I extract keys from a dict into a list?
The predicted label is : b'python'
Question is: debug public static void main(string[] args) {...}
The predicted label is : b'java'

ব্যাখ্যা

• যখন টেক্সট প্রি-প্রসেসিং কোড মডেলের ভিতরে থাকে, তখন এটি প্রোডাকশনের জন্য মডেল এক্সপোর্ট করতে সাহায্য করে।

• এই পদ্ধতিতে ডিপ্লয়মেন্ট সরল হয়।

• যখন 'TextVectorization' মডেলের বাইরে ব্যবহৃত হয়, তখন এটি অ্যাসিঙ্ক্রোনাস CPU প্রসেসিং এবং বাফারিং সম্পাদন করতে সাহায্য করে।