কম্পিউটার

পাইথন ব্যবহার করে স্ট্যাকওভারফ্লো প্রশ্ন রয়েছে এমন ডেটাসেট লোড করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?


Tensorflow হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উত্পাদন উদ্দেশ্যে ব্যবহৃত হয়। এটিতে অপ্টিমাইজেশান কৌশল রয়েছে যা জটিল গাণিতিক ক্রিয়াকলাপগুলি দ্রুত সম্পাদন করতে সহায়তা করে৷

কারণ এটি NumPy এবং বহুমাত্রিক অ্যারে ব্যবহার করে। এই বহুমাত্রিক অ্যারেগুলি 'টেনসর' নামেও পরিচিত। ফ্রেমওয়ার্ক একটি গভীর নিউরাল নেটওয়ার্কের সাথে কাজ করতে সহায়তা করে। এটি অত্যন্ত স্কেলযোগ্য এবং অনেক জনপ্রিয় ডেটাসেটের সাথে আসে। এটি জিপিইউ গণনা ব্যবহার করে এবং সংস্থানগুলির পরিচালনাকে স্বয়ংক্রিয় করে। এটি অনেকগুলি মেশিন লার্নিং লাইব্রেরির সাথে আসে এবং এটি ভালভাবে সমর্থিত এবং নথিভুক্ত। ফ্রেমওয়ার্কের ডিপ নিউরাল নেটওয়ার্ক মডেল চালানো, তাদের প্রশিক্ষণ এবং সংশ্লিষ্ট ডেটাসেটের প্রাসঙ্গিক বৈশিষ্ট্যের পূর্বাভাস দেয় এমন অ্যাপ্লিকেশন তৈরি করার ক্ষমতা রয়েছে।

'টেনসরফ্লো' প্যাকেজটি নীচের কোড-

লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারে
pip install tensorflow

আমরা নিচের কোডটি চালানোর জন্য Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে। পাইথন −

ব্যবহার করে স্ট্যাকওভারফ্লো প্রশ্ন ধারণ করে ডেটাসেট লোড করার জন্য কোড স্নিপেট নিচে দেওয়া হল

উদাহরণ

batch_size = 32
seed = 42
print("The training parameters have been defined")
raw_train_ds = preprocessing.text_dataset_from_directory(
   train_dir,
   batch_size=batch_size,
   validation_split=0.25,
   subset='training',
   seed=seed)
for text_batch, label_batch in raw_train_ds.take(1):
   for i in range(10):
      print("Question: ", text_batch.numpy()[i][:100], '...')
      print("Label:", label_batch.numpy()[i])

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

The training parameters have been defined
Found 8000 files belonging to 4 classes.
Using 6000 files for training.
Question: b'"my tester is going to the wrong constructor i am new to programming so if i ask a
question that can' ...
Label: 1
Question: b'"blank code slow skin detection this code changes the color space to lab and using a
threshold finds' ...
Label: 3
Question: b'"option and validation in blank i want to add a new option on my system where i
want to add two text' ...
Label: 1
Question: b'"exception: dynamic sql generation for the updatecommand is not supported against
a selectcommand th' ...
Label: 0
Question: b'"parameter with question mark and super in blank, i\'ve come across a method that
is formatted like t' ...
Label: 1
Question: b'call two objects wsdl the first time i got a very strange wsdl. ..i would like to call the
object (i' ...
Label: 0
Question: b'how to correctly make the icon for systemtray in blank using icon sizes of any
dimension for systemt' ...
Label: 0
Question: b'"is there a way to check a variable that exists in a different script than the original
one? i\'m try' ...
Label: 3
Question: b'"blank control flow i made a number which asks for 2 numbers with blank and
responds with the corre' ...
Label: 0
Question: b'"credentials cannot be used for ntlm authentication i am getting
org.apache.commons.httpclient.auth.' ...
Label: 1

ব্যাখ্যা

  • ডেটা ডিস্ক থেকে লোড করা হয় এবং এটিকে প্রশিক্ষণের জন্য উপযুক্ত ফর্মে প্রস্তুত করা হয়।

  • 'text_dataset_from_dataset' ইউটিলিটি একটি লেবেলযুক্ত ডেটাসেট তৈরি করতে ব্যবহৃত হয়।

  • 'tf.Data' হল টুলের একটি সংগ্রহ যা শক্তিশালী এবং ইনপুট পাইপলাইন তৈরি করতে ব্যবহৃত হয়।

  • একটি ডিরেক্টরি কাঠামো 'text_dataset_from_dataset' ইউটিলিটিতে পাস করা হয়।

  • স্ট্যাকওভারফ্লো প্রশ্ন ডেটাসেট প্রশিক্ষণ এবং পরীক্ষার ডেটাসেটে বিভক্ত।

  • 'validation_split' পদ্ধতি ব্যবহার করে একটি বৈধতা সেট তৈরি করা হয়।

  • লেবেলগুলি হয় 0, বা 1, বা 2, বা 3৷


  1. পাইথন ব্যবহার করে ফলাফল প্লট করার জন্য Tensorflow কিভাবে ব্যবহার করা যেতে পারে?

  2. পাইথন ব্যবহার করে মডেলকে প্রশিক্ষণ দেওয়ার জন্য কীভাবে টেনসরফ্লো ব্যবহার করা যেতে পারে?

  3. পাইথন ব্যবহার করে ডেটা ভিজ্যুয়ালাইজ করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?

  4. পাইথন ব্যবহার করে ফুলের ডেটাসেটটি কল্পনা করতে টেনসরফ্লো কীভাবে ব্যবহার করা যেতে পারে?