TensorFlow হলো Google-এর প্রদত্ত একটি মেশিন লার্নিং ফ্রেমওয়ার্ক। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা Python-এর সাথে ব্যবহার করে অ্যালগরিদম, ডিপ লার্নিং অ্যাপ্লিকেশন ইত্যাদি বাস্তবায়ন করতে হয়। এটি গবেষণা এবং প্রোডাকশন উভয় কাজেই ব্যবহৃত হয়।
ইনস্টলেশন
pip install tensorflow
টেনসর হলো TensorFlow-এ ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি ফ্লো ডায়াগ্রামে এজগুলো সংযুক্ত করে। এই ফ্লো ডায়াগ্রামকে 'Data flow graph' বলা হয়। টেনসরই মূলত মাল্টি-ডাইমেনশনাল অ্যারে বা একটি লিস্ট। আমরা নিচের কোডটি চালাতে Google Colaboratory ব্যবহার করছি। Google Colab ব্রাউজারে Python কোড চালাতে দেয়, কোনো কনফিগারেশন লাগে না এবং GPU-তে ফ্রি অ্যাক্সেস দেয়। এটি Jupyter Notebook-এর উপরে বিল্ড করা হয়েছে।
উদাহরণ
VOCAB_SIZE = 10000
print("টেক্সট প্রিপ্রসেসিং শুরু হয়েছে")
binary_vectorize_layer = TextVectorization(
max_tokens=VOCAB_SIZE,
output_mode='binary')
MAX_SEQUENCE_LENGTH = 250
int_vectorize_layer = TextVectorization(
max_tokens=VOCAB_SIZE,
output_mode='int',
output_sequence_length=MAX_SEQUENCE_LENGTH)
কোড স্রোত: TensorFlow Tutorials
আউটপুট
টেক্সট প্রিপ্রসেসিং শুরু হয়েছে
ব্যাখ্যা
'TextVectorization' লেয়ার ব্যবহার করে ডেটা স্ট্যান্ডার্ডাইজ, টোকেনাইজ এবং ভেক্টরাইজ করা হয়েছে।
স্ট্যান্ডার্ডাইজেশন মানে টেক্সট প্রিপ্রসেস করা, puntuaction এবং HTML এলিমেন্ট সরানো।
টোকেনাইজেশন মানে বাক্যগুলো শব্দে ভাগ করা, হোয়াইটস্পেস দিয়ে স্প্লিট করে।
ভেক্টরাইজেশন মানে টোকেনগুলোকে সংখ্যায় রূপান্তর করা যাতে নিউরাল নেটওয়ার্ক বুঝতে পারে।
বাইনারি মডেল ব্যাগ-অফ-ওয়ার্ডস মডেল ব্যবহার করে মডেল বানায়।
