কম্পিউটার টিউটোরিয়াল

TensorFlow দিয়ে ডেটাসেটের মাধ্যমে ইটারেট করা এবং নমুনা ডেটা দেখানো


TensorFlow হলো Google দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা Python-এর সাথে ব্যবহার করে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন ইত্যাদি বাস্তবায়ন করতে হয়। এটি গবেষণা এবং প্রোডাকশন উভয় কাজেই ব্যবহৃত হয়। জটিল গাণিতিক অপারেশন দ্রুত সম্পাদনের জন্য इसमें অপ্টিমাইজেশন টেকনিক রয়েছে।

TensorFlow NumPy এবং মাল্টি-ডাইমেনশনাল অ্যারে (যাকে 'টেনসর' বলা হয়) ব্যবহার করে। এটি ডিপ নিউরাল নেটওয়ার্কের সাথে কাজ করা সাপোর্ট করে। এটি অত্যন্ত স্কেলেবল, বহুলোকপ্রিয় ডেটাসেট সহিত আসে, GPU কম্পিউটেশন ব্যবহার করে এবং রিসোর্স ম্যানেজমেন্ট অটোমেট করে। এতে অনেক মেশিন লার্নিং লাইব্রেরি রয়েছে এবং এটি ভালোভাবে ডকুমেন্টেড ও সাপোর্টেড।

ইনস্টলেশন

pip install tensorflow

টেনসর হলো TensorFlow-এ ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি ফ্লো ডায়াগ্রামে এজগুলো সংযুক্ত করে। এই ফ্লো ডায়াগ্রামকে 'Data flow graph' বলা হয়। টেনসরই মূলত মাল্টি-ডাইমেনশনাল অ্যারে বা একটি লিস্ট। এগুলো তিনটি প্রধান অ্যাট্রিবিউট দিয়ে চিনতে পারা যায়:

  • র‍্যাঙ্ক (Rank) — এটি টেনসরের ডাইমেনশনালিটি বা মাত্রা সম্পর্কে বলে। এটি টেনসরের অর্ডার বা সংজ্ঞায়িত মাত্রার সংখ্যা হিসেবে বোঝা যায়।

  • টাইপ (Type) — এটি টেনসরের এলিমেন্টগুলোর সাথে সম্পর্কিত ডেটা টাইপ সম্পর্কে বলে। এটি এক-মাত্রিক, দুই-মাত্রিক বা n-মাত্রিক টেনসর হতে পারে।

  • শেপ (Shape) — এটি রো এবং কলামের সংখ্যা মিলে তৈরি হয়।

নিচের কোডটি চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab ব্রাউজারে Python কোড চালাতে দেয়, কোনো কনফিগারেশন লাগে না এবং GPU-তে ফ্রি অ্যাক্সেস দেয়। এটি Jupyter Notebook-এর উপরে বিল্ড করা হয়েছে।

উদাহরণ

print("ট্রেনিং ডেটার মাধ্যমে ইটারেট করা হচ্ছে")
for i, label in enumerate(raw_train_ds.class_names):
    print("Label", i, "maps to", label)

print("ট্রেনিং প্যারামিটার সংজ্ঞায়িত হয়েছে")
raw_val_ds = preprocessing.text_dataset_from_directory(
    train_dir,
    batch_size=batch_size,
    validation_split=0.25,
    subset='validation',
    seed=seed)

print("টেস্ট ডেটাসেট তৈরি করা হচ্ছে")
test_dir = dataset_dir / 'test'
raw_test_ds = preprocessing.text_dataset_from_directory(
    test_dir, batch_size=batch_size)

কোড স্রোত: TensorFlow Tutorials

আউটপুট

ট্রেনিং ডেটার মাধ্যমে ইটারেট করা হচ্ছে
Label 0 maps to csharp
Label 1 maps to java
Label 2 maps to javascript
Label 3 maps to python
ট্রেনিং প্যারামিটার সংজ্ঞায়িত হয়েছে
Found 8000 files belonging to 4 classes. Using 2000 files for validation.
টেস্ট ডেটাসেট তৈরি করা হচ্ছে
Found 8000 files belonging to 4 classes.

ব্যাখ্যা

  • ট্রেনিং ডেটার মাধ্যমে ইটারেট করা হয়েছে।

  • ট্রেনিং, টেস্ট এবং ভ্যালিডেশন সেটের রো সংখ্যা কনসোলে দেখানো হয়েছে।

  • 'text_dataset_from_directory' ইউটিলিটি ব্যবহার করে ডেটা প্রিপ্রসেস করা হয়েছে।

  1. পাইথনে টেনসরফ্লো ও প্রি-ট্রেনড মডেল দিয়ে ডেটা ভিজ্যুয়ালাইজ করা

  2. টেনসরফ্লো (TensorFlow) কীভাবে পাইথনে ডেটা ভিজুয়ালাইজ (visualize) করতে ব্যবহৃত হয়?

  3. টেনসরফ্লোতে ফ্লাওয়ার ডেটাসেট ভিজ্যুয়ালাইজ করা

  4. পাইথনে টেনসরফ্লো ব্যবহার করে টেনসর তৈরি করা এবং মেসেজ প্রদর্শন করার পদ্ধতি