ইউনিকোড অপারেশন প্রথমে স্ট্রিংয়ের দৈর্ঘ্য বের করে, তারপর এটি অন্যান্য ভ্যালুতে সেট করে সম্পাদন করা যায় (ডিফল্ট ভ্যালু হলো 'byte')। encode মেথড ব্যবহার করে কোড পয়েন্টের ভেক্টরকে এনকোডেড স্ট্রিং স্কেলারে কনভার্ট করা হয়। এটি প্রতিটি এনকোডেড স্ট্রিং-এ ইউনিকোড কোড পয়েন্ট নির্ধারণের জন্য করা হয়।
আরও পড়ুন: টেনসরফ্লো কী এবং কেরাস কীভাবে টেনসরফ্লোর সাথে কাজ করে নিউরাল নেটওয়ার্ক তৈরি করতে?
ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেস করা মডেলগুলো বিভিন্ন ভাষা হ্যান্ডেল করে যাদের বিভিন্ন ক্যারেক্টার সেট থাকে। ইউনিকোড تقریবা সব ভাষার ক্যারেক্টার রিপ্রেজেন্ট করতে ব্যবহৃত স্ট্যান্ডার্ড এনকোডিং সিস্টেম। প্রতিটি ক্যারেক্টার ০ এবং 0x10FFFF-এর মধ্যে একটি ইউনিকোড ইন্টিজার কোড পয়েন্ট দিয়ে এনকোড করা হয়। একটি ইউনিকোড স্ট্রিং শূন্য বা অধিক কোড ভ্যালুর একটি সিকোয়েন্স।
আমরা বুঝব কিভাবে পাইথনে ইউনিকোড স্ট্রিং রিপ্রেজেন্ট করতে হয় এবং ইউনিকোড সমতুল্য ব্যবহার করে সেগুলো ম্যানিপুলেট করতে হয়। প্রথমে, আমরা ইউনিকোড স্ট্রিংগুলোর টোকেনে আলাদা করব স্ক্রিপ্ট ডিটেকশনের সাহায্যে স্ট্যান্ডার্ড স্ট্রিং অপারেশনগুলির ইউনিকোড সমতুল্য ব্যবহার করে।
নিচের কোড চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশনের সাথে ফ্রি GPU (গ্রাফিক্যাল প্রসেসিং ইউনিট) অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর উপরে তৈরি।
print("The final character takes about 4 bytes in UTF-8 encoding")
thanks = u'Hello 😊'.encode('UTF-8')
num_bytes = tf.strings.length(thanks).numpy()
num_chars = tf.strings.length(thanks, unit='UTF8_CHAR').numpy()
print('{} bytes; {} UTF-8 characters'.format(num_bytes, num_chars))
কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/unicode
আউটপুট
The final character takes about 4 bytes in UTF-8 encoding 10 bytes; 7 UTF-8 characters
ব্যাখ্যা
tf.strings.lengthঅপারেশনে একটিunitপ্যারামিটার থাকে যা দৈর্ঘ্য কীভাবে গণনা করা হবে তা নির্দেশ করে।- ডিফল্ট ইউনিট হলো "BYTE", কিন্তু এটি অন্যান্য ভ্যালুতে সেট করা যায়, যেমন "UTF8_CHAR" বা "UTF16_CHAR"।
- এটি প্রতিটি এনকোডেড স্ট্রিং-এ ইউনিকোড কোডপয়েন্টের সংখ্যা বের করার জন্য করা হয়।
