কম্পিউটার টিউটোরিয়াল

পাইথনে Keras ব্যবহার করে Stack Overflow ট্যাগ প্রেডিকশন ডেটাসেট ডাউনলোড ও এক্সপ্লোর করা


TensorFlow হলো Google দ্বারা প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে ব্যবহার করে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন ইত্যাদি বাস্তবায়ন করা হয়। এটি গবেষণা এবং প্রোডাকশন উভয় ক্ষেত্রে ব্যবহৃত হয়। এটি অপ্টিমাইজেশন টেকনিক ব্যবহার করে জটিল গাণিতিক অপারেশন দ্রুত সম্পাদন করে।

এটি NumPy এবং বহু-মাত্রিক অ্যারে (যাকে 'টেনসর' বলা হয়) ব্যবহার করে। ফ্রেমওয়ার্কটি ডিপ নিউরাল নেটওয়ার্ক সাপোর্ট করে। এটি অত্যন্ত স্কেলেবল এবং অনেক জনপ্রিয় ডেটাসেটের সাথে আসে। এটি GPU কম্পিউটেশন ব্যবহার করে এবং রিসোর্স ম্যানেজমেন্ট অটোমেট করে। এতে অনেক মেশিন লার্নিং লাইব্রেরি রয়েছে এবং এটি ভালোভাবে ডকুমেন্টেড ও সাপোর্টেড। এই ফ্রেমওয়ার্কে ডিপ নিউরাল নেটওয়ার্ক মডেল চালানো, প্রশিক্ষণ দেওয়া এবং ডেটাসেটের প্রাসঙ্গিক বৈশিষ্ট্য প্রেডিক্ট করা অ্যাপ্লিকেশন তৈরি করা যায়।

TensorFlow প্যাকেজ উইন্ডোজে ইন্সটল করতে:

pip install tensorflow

Keras হলো ONEIROS (Open-ended Neuro-Electronic Intelligent Robot Operating System) প্রকল্পের গবেষণার অংশ হিসেবে তৈরি। এটি পাইথনে লেখা একটি ডিপ লার্নিং API। এটি একটি হাই-লেভেল API য가의 একটি продук্টিভ ইন্টারফেস রয়েছে যা মেশিন লার্নিং সমস্যা সমাধানে সাহায্য করে। এটি অত্যন্ত স্কেলেবল এবং ক্রস-প্ল্যাটফর্ম ক্ষমতা রাখে। অর্থাৎ Keras TPU বা GPU ক্লাস্টারে চালানো যায়। Keras মডেল ওয়েব ব্রাউজার বা মোবাইল ফোনেও এক্সপোর্ট করে চালানো যায়।

Keras ইতিমধ্যে TensorFlow প্যাকেজের অন্তর্ভুক্ত। নিচের কোড দিয়ে অ্যাক্সেস করা যায়:

import tensorflow
from tensorflow import keras

নিচের কোড Google Colaboratory-এ চালানো হয়েছে। Colab ব্রাউজারে পাইথন কোড চালাতে দেয়, শূন্য কনফিগারেশন দরকার হয় এবং GPU-এ বিনামূল্যে অ্যাক্সেস দেয়। এটি Jupyter Notebook-এর উপরে নির্মিত।

উদাহরণ: Stack Overflow ট্যাগ প্রেডিকশন ডেটাসেট ডাউনলোড ও এক্সপ্লোর

print("tensorflow-text ডাউনলোড করা হচ্ছে")
!pip -q install tensorflow-text

import collections
import pathlib
import re
import string
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import losses
from tensorflow.keras import preprocessing
from tensorflow.keras import utils
from tensorflow.keras.layers.experimental.preprocessing import TextVectorization
import tensorflow_datasets as tfds
import tensorflow_text as tf_text

data_url = 'https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz'
dataset = utils.get_file(
    'stack_overflow_16k.tar.gz',
    data_url,
    untar=True,
    cache_dir='stack_overflow',
    cache_subdir=''
)
dataset_dir = pathlib.Path(dataset).parent

কোড স্রোত: https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

tensorflow-text ডাউনলোড করা হচ্ছে
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz
6053888/6053168 [==============================] - 0s 0us/step

ব্যাখ্যা

  • প্রয়োজনীয় সব প্যাকেজ ইমপোর্ট করা হয়েছে।

  • utils.get_file() ব্যবহার করে ডেটা URL থেকে ডাউনলোড, এক্সট্র্যাক্ট (untar) এবং ক্যাশে করা হয়েছে।

  • pathlib.Path ব্যবহার করে ডেটাসেট ডায়রেক্টরির পথ নির্ণয় করা হয়েছে।

  1. TensorFlow দিয়ে Stack Overflow প্রশ্ন ডেটাসেট প্রস্তুত করা

  2. টেনসরফ্লো ব্যবহার করে স্ট্যাকওভারফ্লো প্রশ্ন ডেটাসেট লোড করা

  3. পাইথনে TensorFlow ব্যবহার করে Stack Overflow প্রশ্ন ডেটাসেট এক্সপ্লোর করা ও নমুনা ফাইল দেখা

  4. Python-এ Keras ব্যবহার করে মডেল সেভ এবং সিরিয়ালাইজ করা