ইউনিকোড স্ট্রিং স্প্লিট করা যায় unicode_split মেথড এবং বাইট অফসেট নির্দিষ্ট করা যায় unicode_decode_with_offsets মেথড ব্যবহার করে। এই মেথডগুলো tensorflow মডিউলের string ক্লাসে থাকে।
আরও পড়ুন: টেনসরফ্লো কী এবং কেরাস কীভাবে টেনসরফ্লোর সাথে কাজ করে নিউরাল নেটওয়ার্ক তৈরি করতে?
শুরু করতে, পাইথনে ইউনিকোড স্ট্রিং রিপ্রেজেন্ট করুন এবং ইউনিকোড সমতুল্য ব্যবহার করে সেগুলো ম্যানিপুলেট করুন। ইউনিকোড স্ট্রিংগুলোর টোকেনে আলাদা করুন স্ক্রিপ্ট ডিটেকশনের সাহায্যে স্ট্যান্ডার্ড স্ট্রিং অপারেশনগুলির ইউনিকোড সমতুল্য ব্যবহার করে।
নিচের কোড চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশনের সাথে ফ্রি GPU (গ্রাফিক্যাল প্রসেসিং ইউনিট) অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর উপরে তৈরি।
print("Split unicode strings")
tf.strings.unicode_split(thanks, 'UTF-8').numpy()
codepoints, offsets = tf.strings.unicode_decode_with_offsets(u"🎈🎉🎊", 'UTF-8')
print("Printing byte offset for characters")
for (codepoint, offset) in zip(codepoints.numpy(), offsets.numpy()):
print("At byte offset {}: codepoint {}".format(offset, codepoint))
কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/unicode
আউটপুট
Split unicode strings Printing byte offset for characters At byte offset 0: codepoint 127880 At byte offset 4: codepoint 127881 At byte offset 8: codepoint 127882
ব্যাখ্যা
tf.strings.unicode_splitঅপারেশন ইউনিকোড স্ট্রিংগুলোকে আশleute ক্যারেক্টারের সাবস্ট্রিংয়ে ভাগ করে।- জেনারেট করা ক্যারেক্টার টেনসরটি
tf.strings.unicode_decodeদিয়ে আসল স্ট্রিংয়ের সাথে অ্যালাইন করতে হয়। - এই উদ্দেশ্যে, প্রতিটি ক্যারেক্টার কোথায় শুরু হয় তার অফসেট জানা দরকার।
tf.strings.unicode_decode_with_offsetsমেথডunicode_decodeমেথডের মতোই, পার্থক্য হলো এটি একটি দ্বিতীয় টেনসর রিটার্ন করে যাতে প্রতিটি ক্যারেক্টারের স্টার্ট অফসেট থাকে।
