কম্পিউটার টিউটোরিয়াল

পাইথনে TensorFlow ব্যবহার করে StackOverflow প্রশ্ন ডেটাসেটে টেক্সট ভেক্টরাইজেশন প্রয়োগ করার পদ্ধতি

TensorFlow হল Google দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে ব্যবহার করে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন ইত্যাদি বাস্তবায়ন করতে ব্যবহৃত হয়।

ইনস্টলেশন

pip install tensorflow

টেনসর (Tensor) TensorFlow-এ ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি ফ্লো ডায়াগ্রামে এজ সংযুক্ত করতে সাহায্য করে ('ডেটা ফ্লো গ্রাফ')। টেনসরগুলো আসলে মাল্টি-ডাইমেনশনাল অ্যারে বা লিস্ট।

নিচের কোড Google Colaboratory-এ রান করা হয়েছে। Google Colab ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং ফ্রি GPU অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর ওপর তৈরি।

উদাহরণ

print("1234 ---> ", int_vectorize_layer.get_vocabulary()[1289])
print("321 ---> ", int_vectorize_layer.get_vocabulary()[313])
print("Vocabulary size is : {}".format(len(int_vectorize_layer.get_vocabulary())))
print("The text vectorization is applied to the training dataset")
binary_train_ds = raw_train_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the validation dataset")
binary_val_ds = raw_val_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the test dataset")
binary_test_ds = raw_test_ds.map(binary_vectorize_text)
int_train_ds = raw_train_ds.map(int_vectorize_text)
int_val_ds = raw_val_ds.map(int_vectorize_text)
int_test_ds = raw_test_ds.map(int_vectorize_text)

কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

1234 ---> substring
321 ---> 20
Vocabulary size is : 10000
The text vectorization is applied to the training dataset
The text vectorization is applied to the validation dataset
The text vectorization is applied to the test dataset

ব্যাখ্যা

  • ফাইনাল প্রি-প্রসেসিং স্টেপ হিসেবে 'TextVectorization' লেয়ার ট্রেনিং, টেস্ট এবং ভ্যালিডেশন ডেটাসেটে প্রয়োগ করা হয়েছে।
  1. টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে ডেটা ভিজুয়ালাইজ (visualize) করতে ব্যবহৃত হয়?

  2. টেনসরফ্লোতে ফ্লাওয়ার ডেটাসেট ভিজ্যুয়ালাইজ করা

  3. TensorFlow ব্যবহার করে IMDB ডেটাসেট ডাউনলোড ও এক্সপ্লোর করা

  4. পাইথনে টেনসরফ্লো ব্যবহার করে টেনসর তৈরি করা এবং মেসেজ প্রদর্শন করার পদ্ধতি