পাইথনে আইএমডিবি ডেটাসেট ডাউনলোড এবং অন্বেষণ করতে কীভাবে টেনসরফ্লো ব্যবহার করা যেতে পারে?

টেনসরফ্লো হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উৎপাদন উদ্দেশ্যে ব্যবহৃত হয়।

কারণ এটি NumPy এবং বহুমাত্রিক অ্যারে ব্যবহার করে। এই বহুমাত্রিক অ্যারেগুলি 'টেনসর' নামেও পরিচিত। ফ্রেমওয়ার্ক গভীর নিউরাল নেটওয়ার্কের সাথে কাজ করতে সহায়তা করে। এটি অত্যন্ত মাপযোগ্য, এবং অনেক জনপ্রিয় ডেটাসেটের সাথে আসে। এটি GPU গণনা ব্যবহার করে এবং সংস্থানগুলির পরিচালনাকে স্বয়ংক্রিয় করে। এটি অনেকগুলি মেশিন লার্নিং লাইব্রেরির সাথে আসে এবং এটি ভালভাবে সমর্থিত এবং নথিভুক্ত। ফ্রেমওয়ার্কের ডিপ নিউরাল নেটওয়ার্ক মডেল চালানো, তাদের প্রশিক্ষণ এবং সংশ্লিষ্ট ডেটাসেটের প্রাসঙ্গিক বৈশিষ্ট্যের পূর্বাভাস দেয় এমন অ্যাপ্লিকেশন তৈরি করার ক্ষমতা রয়েছে।

'টেনসরফ্লো' প্যাকেজটি নীচের কোড-

লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারে

পিপ ইনস্টল টেনসরফ্লো

টেনসর হল টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি প্রবাহ চিত্রে প্রান্তগুলিকে সংযুক্ত করতে সহায়তা করে। এই ফ্লো ডায়াগ্রামটি 'ডেটা ফ্লো গ্রাফ' নামে পরিচিত। টেনসর বহুমাত্রিক অ্যারে বা একটি তালিকা ছাড়া কিছুই নয়। তিনটি প্রধান বৈশিষ্ট্য −

ব্যবহার করে তাদের চিহ্নিত করা যায়

'IMDB' ডেটাসেটে 50 হাজারের বেশি সিনেমার রিভিউ রয়েছে। এই ডেটাসেটটি সাধারণত প্রাকৃতিক ভাষা প্রক্রিয়াকরণের সাথে যুক্ত ক্রিয়াকলাপের সাথে ব্যবহৃত হয়।

নিচের কোডটি চালানোর জন্য আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।

নিম্নলিখিত কোড -

উদাহরণ

pltimport হিসাবে matplotlib.pyplot আমদানি করুন osimport পুনরায় আমদানি করুন shutilimport stringimport tensorflow tffrom হিসাবে tensorflow.keras আমদানি স্তরগুলি tensorflow.keras আমদানি ক্ষতি থেকে tensorflow.keras আমদানি প্রিপ্রসেসিং থেকে tensorflow.keras.keras আমদানি প্রিপ্রসেসিং সংস্করণ print(tf.__version__)url ="https://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz"dataset =tf.keras.utils.get_file("aclImdb_v1.tar.gz", url, untar=True, cache_dir='.', cache_subdir='')মুদ্রণ("ডেটাসেট ডাউনলোড হচ্ছে")dataset_dir =os.path.join(os.path.dirname(dataset), 'aclImdb')প্রিন্ট( "ডাউনলোড করা ফোল্ডারের ডিরেক্টরিগুলি হল")os.listdir(dataset_dir)train_dir =os.path.join(dataset_dir, 'train')os.listdir(train_dir)print("ডেটার নমুনা :")sample_file =os৷ path.join(train_dir, 'pos/1181_9.txt') open(sample_file) সহ f:print(f.read())remove_dir =os.path.join(tr) ain_dir, 'unsup')shutil.rmtree(remove_dir)batch_size =32seed =42print("ব্যাচের আকার হল")প্রিন্ট(ব্যাচ_সাইজ)raw_train_ds =tf.keras.preprocessing.text_dataset_from_directory(btch_size,batch_size=batch_size,/ =0.2, subset='training', seed=seed) text_batch এর জন্য, raw_train_ds.take(1) তে label_batch:রেঞ্জে i এর জন্য(3):print("Review", text_batch.numpy()[i]) প্রিন্ট( "লেবেল", label_batch.numpy()[i]) প্রিন্ট("লেবেল 0 এর সাথে সম্পর্কিত", raw_train_ds.class_names[0])প্রিন্ট ("লেবেল 1 এর সাথে সম্পর্কিত", raw_train_ds.class_names[1])raw_val_ds =tf.keras .preprocessing.text_dataset_from_directory('aclImdb/train', batch_size=batch_size, validation_split=0.2, subset='validation', seed=seed)raw_test_ds =tf.keras.preprocessing.text_dataset_db/train,

কোড ক্রেডিট − https://www.tensorflow.org/tutorials/keras/text_classification

আউটপুট

টেন্সরফ্লো সংস্করণটি হল 2.4.0 ডেটাসেট ডাউনলোড করা হচ্ছে ডাউনলোড করা ফোল্ডারের ডিরেক্টরিগুলি হল ডেটার নমুনা :র‍্যাচেল গ্রিফিথস এই পুরস্কার বিজয়ী শর্ট ফিল্মটি লিখেছেন এবং পরিচালনা করেছেন৷ দুঃখের সাথে মোকাবিলা করার এবং আমরা যাদের ভালোবাসি এবং হারিয়েছি তাদের স্মৃতি লালন করার একটি হৃদয়গ্রাহী গল্প। যদিও, মাত্র 15 মিনিট দীর্ঘ, গ্রিফিথস অল্প সময়ের মধ্যে চলচ্চিত্রে এত আবেগ এবং সত্য ক্যাপচার করতে সক্ষম হন। বাড টিংওয়েল উইলের চরিত্রে একটি মর্মস্পর্শী অভিনয় দিয়েছেন, একজন বিধবা তার স্ত্রীর মৃত্যুর সাথে লড়াই করতে সংগ্রাম করছেন। উইল রুথের পোষা গরু টিউলিপের যত্ন নেওয়ার জন্য একাকীত্ব এবং অসহায়ত্বের কঠোর বাস্তবতার মুখোমুখি হয়। ফিল্মটি শোক এবং দায়িত্ব প্রদর্শন করে যাকে তারা ভালোবাসে এবং হারিয়েছে তাদের জন্য। ভাল সিনেমাটোগ্রাফি, দুর্দান্ত পরিচালনা, এবং দুর্দান্ত অভিনয়। এটি তাদের সকলের চোখের জল আনবে যারা প্রিয়জনকে হারিয়েছেন এবং বেঁচে গেছেন৷ ব্যাচের আকার 32টি 2 শ্রেণীভুক্ত 25000টি ফাইল পাওয়া গেছে৷ প্রশিক্ষণের জন্য 20000টি ফাইল ব্যবহার করা৷ রিভিউ বি'"প্যান্ডেমোনিয়াম" হল একটি হরর মুভি স্পুফ যা আরও বোকা হয়ে আসে মজার চেয়ে বিশ্বাস করুন যখন আমি আপনাকে বলি, আমি কমেডি পছন্দ করি। বিশেষ করে কমেডি স্পুফ। "এয়ারপ্লেন", "দ্য নেকেড গান" ট্রিলজি, "ব্লেজিং স্যাডলস", "হাই অ্যাংজাইটি" এবং "স্পেসবলস" হল আমার প্রিয় কিছু কমেডি যা একটি নির্দিষ্ট ধারাকে ফাঁকি দেয়। "প্যান্ডেমোনিয়াম" সেই চলচ্চিত্রগুলির সাথে নেই। এই মুভির বেশিরভাগ দৃশ্যেই আমাকে স্তব্ধ নীরবে বসে থাকতে হয়েছিল কারণ মুভিটি তেমন মজার ছিল না। ফিল্মে কয়েকটি হাসি আছে, কিন্তু আপনি যখন একটি কমেডি দেখেন, আপনি কয়েক গুণের চেয়ে অনেক বেশি হাসবেন বলে আশা করেন এবং এই চলচ্চিত্রটি তার জন্যই চলছে। গিজ, "চিৎকার" এই ছবির চেয়ে বেশি হাসি পেয়েছিল এবং এটি একটি হরর ফিল্ম ছিল। এটা কতটা উদ্ভট?* 1/2 (চারটির মধ্যে)'লেবেল 0রিভিউ b"ডেভিড ম্যামেট একজন খুব আকর্ষণীয় এবং খুব অ-সমান পরিচালক। তার প্রথম সিনেমা 'হাউস অফ গেমস' ছিল আমার সবচেয়ে ভালো লেগেছে, এবং এটি চরিত্রগুলির সাথে চলচ্চিত্রের একটি সিরিজ সেট করুন যাদের জীবনের দৃষ্টিকোণ জটিল পরিস্থিতিতে পড়ার সাথে সাথে বদলে যায় এবং দর্শকের দৃষ্টিভঙ্গিও পরিবর্তিত হয়। তাই 'হমিসাইড' যা শিরোনাম থেকে দর্শকের মনকে স্বাভাবিক অপরাধমূলক নাটকে সেট করার চেষ্টা করে। প্রধান চরিত্র হল দুইজন পুলিশ, একজন ইহুদি এবং একজন আইরিশ যারা জাতিগতভাবে অভিযুক্ত এলাকা নিয়ে কাজ করে। একজন পুরানো ইহুদি দোকানের মালিককে হত্যা করা, যিনি ইসরায়েলের স্বাধীনতা যুদ্ধের একজন প্রাচীন প্রবীণ হিসেবে প্রমাণিত হয়ে ইহুদি পরিচয়কে মনে ও হৃদয়ে উস্কে দেয়। ইহুদি গোয়েন্দার। এটি ছিল চলচ্চিত্রের ত্রুটিগুলি আরও স্পষ্ট। জাগরণ প্রক্রিয়াটি নাটকীয় এবং বিশ্বাস করা কঠিন, ইহুদি জঙ্গিদের দলটি অপারেটিক, এবং গোয়েন্দা শেষ পর্যন্ত যেভাবে চূড়ান্ত হিংসাত্মক সংঘর্ষে চলে যায় তা হল করুণ। ফিল্ম এর শেষ lf Mamet-এর মতো স্মার্ট, কিন্তু মানুষের মানসিক দৃষ্টিকোণ থেকে হতাশ। জো ম্যান্টেগনা এবং উইলিয়াম ম্যাসি শক্তিশালী অভিনয় করেছেন, কিন্তু গল্পের ত্রুটিগুলি খুব স্পষ্ট যে সহজেই ক্ষতিপূরণ দেওয়া যায়।" সর্বকালের সবচেয়ে খারাপ সন্ত্রাসী হামলার সময় অগ্নিনির্বাপক কর্মীরা.. শুধুমাত্র এই কারণেই এটি একটি সংগ্রাহক আইটেম দেখতে হবে। . আমি মনে করি অনেক ডাক্তার আমার সাথে একমত হবেন যে, তারা যে শারীরিক আকারে ছিল, এই অগ্নিনির্বাপকদের মধ্যে কেউ কেউ 60 পাউন্ডের বেশি গিয়ার নিয়ে 79 তম তলায় পৌঁছাতে পারেনি। এই বলে যে আমার এখন অগ্নিনির্বাপকদের প্রতি আরও বেশি শ্রদ্ধা আছে এবং আমি বুঝতে পারি একজন অগ্নিনির্বাপক হওয়া একটি জীবন পরিবর্তনকারী কাজ। ফরাসিদের দুর্দান্ত ডকুমেন্টারি তৈরির ইতিহাস রয়েছে এবং এটিই হল একটি দুর্দান্ত ডকুমেন্টারি.....'লেবেল 1 লেবেল 0 নেগলেবেল 1 এর সাথে 2টি ক্লাসের 25000টি ফাইলের সাথে মিল রয়েছে৷ বৈধতার জন্য 5000টি ফাইল ব্যবহার করা হচ্ছে .2 ক্লাসের 25000টি ফাইল পাওয়া গেছে।

ব্যাখ্যা

প্রয়োজনীয় প্যাকেজগুলি আমদানি করা এবং উপনামযুক্ত৷
৷
Colab অ্যাক্সেস করার জন্য ImdB ডেটা লোড করা হয় এবং সেভ করা হয়।
মূল ডেটার একটি নমুনা কনসোলে প্রদর্শিত হয়৷
৷
মূল ডেটা প্রশিক্ষণ এবং পরীক্ষার ডেটাসেটে বিভক্ত।
প্রশিক্ষণের ডেটা একটি মডেল তৈরি করতে ব্যবহৃত হয়৷
৷
প্রদত্ত ডেটা একটি নেতিবাচক পর্যালোচনা বা একটি ইতিবাচক মান হিসাবে শ্রেণীবদ্ধ করার চেষ্টা করা হয়৷