কিভাবে টেনসরফ্লো এবং পাইথন ব্যবহার করে প্রি-প্রসেসড ডেটা এলোমেলো করা যায়?

Tensorflow হল একটি মেশিন লার্নিং ফ্রেমওয়ার্ক যা Google প্রদান করে। এটি একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা পাইথনের সাথে অ্যালগরিদম, গভীর শিক্ষার অ্যাপ্লিকেশন এবং আরও অনেক কিছু বাস্তবায়নের জন্য ব্যবহৃত হয়। এটি গবেষণা এবং উত্পাদন উদ্দেশ্যে ব্যবহৃত হয়। এটিতে অপ্টিমাইজেশন কৌশল রয়েছে যা জটিল গাণিতিক ক্রিয়াকলাপগুলি দ্রুত সম্পাদন করতে সহায়তা করে। কারণ এটি NumPy এবং বহুমাত্রিক অ্যারে ব্যবহার করে। এই বহুমাত্রিক অ্যারেগুলি 'টেনসর' নামেও পরিচিত। ফ্রেমওয়ার্ক একটি গভীর নিউরাল নেটওয়ার্কের সাথে কাজ করতে সহায়তা করে।

'টেনসরফ্লো' প্যাকেজটি নীচের কোড-

লাইনটি ব্যবহার করে উইন্ডোজে ইনস্টল করা যেতে পারে

পিপ ইনস্টল টেনসরফ্লো

টেনসর হল টেনসরফ্লোতে ব্যবহৃত একটি ডেটা স্ট্রাকচার। এটি একটি প্রবাহ চিত্রে প্রান্তগুলিকে সংযুক্ত করতে সহায়তা করে। এই ফ্লো ডায়াগ্রামটি 'ডেটা ফ্লো গ্রাফ' নামে পরিচিত। টেনসরগুলি একটি বহুমাত্রিক অ্যারে বা একটি তালিকা ছাড়া কিছুই নয়৷

আমরা ইলিয়াডের ডেটাসেট ব্যবহার করব, যাতে উইলিয়াম কাউপার, এডওয়ার্ড (আর্ল অফ ডার্বি) এবং স্যামুয়েল বাটলারের তিনটি অনুবাদ কাজের পাঠ্য ডেটা রয়েছে৷ যখন পাঠ্যের একটি লাইন দেওয়া হয় তখন মডেলটিকে অনুবাদক সনাক্ত করতে প্রশিক্ষিত করা হয়। ব্যবহৃত টেক্সট ফাইল প্রিপ্রসেসিং করা হয়েছে. এর মধ্যে রয়েছে নথির শিরোনাম এবং ফুটার, লাইন নম্বর এবং অধ্যায়ের শিরোনাম অপসারণ৷

নিচের কোডটি চালানোর জন্য আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।

উদাহরণ

নিম্নলিখিত কোড স্নিপেট -

মুদ্রণ (লেবেলযুক্ত ডেটাসেটটি একত্রিত করুন এবং এটি পুনরায় ঝাঁকুনি করুন ") BUFFER_SIZE =50000BATCH_SIZE =64VALDATION_SIZE =5000ALL_DATE_DATASET_DATASET_DATASET_DATASETE [1:]:ALL_LABELED_DATA =ALL_LABELED_DATA.CONCATENATE (LACHELED_DATA.CONCATENATE (LACHELED_DATA =ALL_LABELED_DATA =ALL_LABELED_DATA.SHUFFULE ( BUFFER_SIZE, reshuffle_each_iteration=False)প্রিন্ট ("ইনপুট ডেটার কয়েকটি নমুনা প্রদর্শন করা হচ্ছে") পাঠ্যের জন্য, all_labeled_data.take(8) এ লেবেল করুন:print("বাক্যটি হল :", text.numpy()) প্রিন্ট("লেবেল হল :", label.numpy())

কোড ক্রেডিট - https://www.tensorflow.org/tutorials/load_data/text

আউটপুট

লেবেলযুক্ত ডেটাসেটকে একত্রিত করুন এবং এটিকে পরিবর্তন করুন ইনপুট ডেটার কয়েকটি নমুনা প্রদর্শন করা বাক্যটি হল:b'কিন্তু আমি এখন উভয়ই খাবারের স্বাদ পেয়েছি, এবং দেওয়া হয়েছে' লেবেলটি হল:0 বাক্যটি হল:b'এগুলি এখন আপনার হবে:কিন্তু যদি ঈশ্বরের লেবেল হয়:1 বাক্যটি হল:b'তাদের স্পাইরি সামিট ওয়েড। সেখানে, অনুপস্থিত 'লেবেলটি হল:0 বাক্যটি হল:b'"আমি প্রার্থনা করি, আপনি কি আপনার ভালবাসা প্রদর্শন করবেন, প্রিয় বন্ধুরা,' লেবেলটি হল:1 বাক্যটি হল:b'ক্ল্যাভিকলের নীচে বিন্দু প্রবেশ করা' লেবেলটি হল:0বাক্যটি হল:b'কিন্তু শোক, তার বাবা হারিয়েছে, এখন তার জন্য অপেক্ষা করছে,' লেবেলটি হল:1 বাক্যটি হল:b'আগের বাহুতে যেখানে কনুইয়ের সাইনগুলি একত্রিত হয়, যেখানে সে' লেবেলটি হল :2 বাক্যটি হল:b'এর জন্য, যেমন আমি মনে করি, আমি ইতিমধ্যেই তাড়া করেছি' লেবেলটি হল :0

ব্যাখ্যা

ডেটা প্রিপ্রসেস করার পরে, ডেটাসেট থেকে কয়েকটি নমুনা কনসোলে প্রদর্শিত হয়৷
৷
ডেটা গোষ্ঠীভুক্ত নয়, যার মানে 'all_labeled_data'-এর প্রতিটি এন্ট্রি একটি ডেটা পয়েন্টে ম্যাপ করে৷