প্রতিটি ইউনিকোড কোড পয়েন্ট একটি কোডপয়েন্টের একক সংগ্রহের অন্তর্গত থাকে যাকে স্ক্রিপ্ট বলা হয়। একটি ক্যারেক্টারের স্ক্রিপ্ট নির্ধারণ করে ক্যারেক্টারটি কোন ভাষার অন্তর্গত। টেনসরফ্লোতে strings.unicode_script মেথড থাকে যা একটি দেওয়া কোডপয়েন্ট কোন স্ক্রিপ্ট ব্যবহার করবে তা খুঁজে বের করতে সাহায্য করে। স্ক্রিপ্ট কোডগুলো int32 ভ্যালু যা International Components for Unicode (ICU) UScriptCode ভ্যালুগুলোর সাথে ম্যাপ করা যায়।
আরও পড়ুন: টেনসরফ্লো কী এবং কেরাস কীভাবে টেনসরফ্লোর সাথে কাজ করে নিউরাল নেটওয়ার্ক তৈরি করতে?
আমরা দেখব কিভাবে পাইথনে ইউনিকোড স্ট্রিং রিপ্রেজেন্ট করতে হয় এবং ইউনিকোড সমতুল্য ব্যবহার করে সেগুলো ম্যানিপুলেট করতে হয়। প্রথমে, ইউনিকোড স্ট্রিংগুলোর টোকেনে আলাদা করব স্ক্রিপ্ট ডিটেকশনের সাহায্যে স্ট্যান্ডার্ড স্ট্রিং অপারেশনগুলির ইউনিকোড সমতুল্য ব্যবহার করে।
নিচের কোড চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশনের সাথে ফ্রি GPU (গ্রাফিক্যাল প্রসেসিং ইউনিট) অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর উপরে তৈরি।
print("The below represent '芸' and 'Б' respectively")
uscript = tf.strings.unicode_script([33464, 1041])
print(uscript.numpy()) # [17, 8] == [USCRIPT_HAN, USCRIPT_CYRILLIC]
print("Applying to multidimensional strings")
print(tf.strings.unicode_script(batch_chars_ragged))
কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/unicode
আউটপুট
The below represent '芸' and 'Б' respectively [17 8] Applying to multidimensional strings <tf.RaggedTensor [[25, 25, 25, 25, 25], [25, 25, 25, 25, 0, 25, 25, 0, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25], [25, 25, 25, 25, 25, 25, 25, 25, 25], [0]]>
ব্যাখ্যা
- প্রতিটি ইউনিকোড কোড পয়েন্ট একটি কোডপয়েন্টের একক সংগ্রহের অন্তর্গত থাকে যাকে স্ক্রিপ্ট বলা হয়।
- একটি ক্যারেক্টারের স্ক্রিপ্ট নির্ধারণ করতে সাহায্য করে যে ক্যারেক্টারটি কোন ভাষার অন্তর্গত হতে পারে।
- টেনসরফ্লো
tf.strings.unicode_scriptঅপারেশন প্রদান করে যাতে একটি দেওয়া কোডপয়েন্ট কোন স্ক্রিপ্ট ব্যবহার করবে তা জানা যায়। - স্ক্রিপ্ট কোডগুলো int32 ভ্যালু যা International Components for Unicode (ICU) UScriptCode ভ্যালুগুলোর সাথে ম্যাপ করা যায়।
tf.strings.unicode_scriptঅপারেশন মাল্টিডাইমেনশনাল tf.Tensors বা tf.RaggedTensors-এও প্রযোজ্য।
