কম্পিউটার

পাইথন ব্যবহার করে স্ট্যাকওভারফ্লো প্রশ্ন ডেটাসেটের সাথে যুক্ত পাঠ্য ডেটাকে ভেক্টরাইজ করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?


Tensorflow হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উত্পাদন উদ্দেশ্যে ব্যবহৃত হয়। এটিতে অপ্টিমাইজেশান কৌশল রয়েছে যা জটিল গাণিতিক ক্রিয়াকলাপগুলি দ্রুত সম্পাদন করতে সহায়তা করে৷

কারণ এটি NumPy এবং বহুমাত্রিক অ্যারে ব্যবহার করে। এই বহুমাত্রিক অ্যারেগুলি 'টেনসর' নামেও পরিচিত। ফ্রেমওয়ার্ক গভীর নিউরাল নেটওয়ার্কের সাথে কাজ করতে সহায়তা করে। এটি অত্যন্ত স্কেলযোগ্য এবং অনেক জনপ্রিয় ডেটাসেটের সাথে আসে। এটি জিপিইউ গণনা ব্যবহার করে এবং সংস্থানগুলির পরিচালনাকে স্বয়ংক্রিয় করে। এটি অনেকগুলি মেশিন লার্নিং লাইব্রেরির সাথে আসে এবং এটি ভালভাবে সমর্থিত এবং নথিভুক্ত। ফ্রেমওয়ার্কের ডিপ নিউরাল নেটওয়ার্ক মডেল চালানো, তাদের প্রশিক্ষণ এবং সংশ্লিষ্ট ডেটাসেটের প্রাসঙ্গিক বৈশিষ্ট্যের পূর্বাভাস দেয় এমন অ্যাপ্লিকেশন তৈরি করার ক্ষমতা রয়েছে।

'টেনসরফ্লো' প্যাকেজটি নীচের কোড-

লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারে
pip install tensorflow

টেনসর হল টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি প্রবাহ চিত্রে প্রান্তগুলিকে সংযুক্ত করতে সহায়তা করে। এই ফ্লো ডায়াগ্রামটি 'ডেটা ফ্লো গ্রাফ' নামে পরিচিত। টেনসরগুলি একটি বহুমাত্রিক অ্যারে বা একটি তালিকা ছাড়া কিছুই নয়৷

নিচের কোডটি চালানোর জন্য আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।

উদাহরণ

টেক্সট ডেটা −

ভেক্টরাইজ করার জন্য কোড স্নিপেট নিচে দেওয়া হল
print("The vectorize function is defined")
def int_vectorize_text(text, label):
   text = tf.expand_dims(text, -1)
   return int_vectorize_layer(text), label
print(" A batch of the dataset is retrieved")
text_batch, label_batch = next(iter(raw_train_ds))
first_question, first_label = text_batch[0], label_batch[0]
print("Question is : ", first_question)
print("Label is : ", first_label)

print("'binary' vectorized question is :",
   binary_vectorize_text(first_question, first_label)[0])
print("'int' vectorized question is :",

   int_vectorize_text(first_question, first_label)[0])

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

The vectorize function is defined
A batch of the dataset is retrieved
Question is : tf.Tensor(b'"function expected error in blank for dynamically created check box
when it is clicked i want to grab the attribute value.it is working in ie 8,9,10 but not working in ie
11,chrome shows function expected error..<input type=checkbox checked=\'checked\'
id=\'symptomfailurecodeid\' tabindex=\'54\' style=\'cursor:pointer;\' onclick=chkclickevt(this);
failurecodeid=""1"" >...function chkclickevt(obj) { .
alert(obj.attributes(""failurecodeid""));.}"\n', shape=(), dtype=string)
Label is : tf.Tensor(2, shape=(), dtype=int32)
'binary' vectorized question is : tf.Tensor([[1. 1. 1. ... 0. 0. 0.]], shape=(1, 10000), dtype=float32)
'int' vectorized question is : tf.Tensor(
[[ 37 464 65 7  16 12 879 262 181 448 44 10 6  700
   3  46  4 2085 2 473 1   6  156  7  478 1 25 20
  156 7  478 1  499 37 464 1 1846 1666 1  1  1  1
   1  1   1  1    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0]], shape=(1, 250), dtype=int64)

ব্যাখ্যা

  • বাইনারি মোড একটি অ্যারে প্রদান করে যা টোকেনের অস্তিত্ব সম্পর্কে নির্দেশ করে।

  • int মোডে, প্রতিটি টোকেন একটি পূর্ণসংখ্যা দ্বারা প্রতিস্থাপিত হয়।

  • এইভাবে, অর্ডারটি সংরক্ষণ করা হবে৷

  • ভেক্টরাইজ ফাংশন সংজ্ঞায়িত করা হয়েছে।

  • ডেটার একটি নমুনা ভেক্টরাইজ করা হয় এবং কনসোলে ভেক্টরাইজেশনের 'বাইনারী' এবং 'int' মোড প্রদর্শিত হয়

  • সেই নির্দিষ্ট স্তরে 'get_vocabulary' পদ্ধতি ব্যবহার করার জন্য স্ট্রিংটি সন্ধান করা যেতে পারে।


  1. পাইথন ব্যবহার করে টাইটানিক ডেটাসেট পরিদর্শন করতে এস্টিমেটরদের সাথে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?

  2. পাইথন ব্যবহার করে ডেটা মানক করার জন্য টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?

  3. পাইথন ব্যবহার করে ডেটা ভিজ্যুয়ালাইজ করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?

  4. পাইথন ব্যবহার করে ফুলের ডেটাসেটটি কল্পনা করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?