র্যাগড টেনসরের ওয়ার্ড কোড পয়েন্ট নিম্নলিখিত পদ্ধতিতে সেগমেন্ট করা যায়: সেগমেন্টেশন বলতে টেক্সটকে ওয়ার্ড-লাইক ইউনিটে ভাগ করার প্রক্রিয়াকে বোঝায়। এটি সেই ক্ষেত্রে ব্যবহৃত হয় যেখানে শব্দগুলোর মধ্যে স্পেস ক্যারেক্টার থাকে, কিন্তু চাইনিজ এবং জাপানিজের মতো কিছু ভাষায় স্পেস ব্যবহার হয় না। জার্মানের মতো কিছু ভাষায় লอง কমপাউন্ড থাকে যেগুলো অর্থ বিশ্লেষণের জন্য ভাগ করা প্রয়োজন।
ওয়ার্ডের কোড পয়েন্ট সেন্টেন্সে ফেরত সেগমেন্ট করা হয়। পরবর্তী ধাপ হলো চেক করা যে কোনো শব্দের ক্যারেক্টারের কোড পয়েন্ট সেন্টেন্সে আছে কিনা। যদি থাকে, তবে একটি র্যাগড টেনসর তৈরি করা হয় এবং সেন্টেন্সটি স্ট্যান্ডার্ড এনকোডিং-এ ফেরত এনকোড করা হয়।
আরও পড়ুন: টেনসরফ্লো কী এবং কেরাস কীভাবে টেনসরফ্লোর সাথে কাজ করে নিউরাল নেটওয়ার্ক তৈরি করতে?
আমরা বুঝব কিভাবে পাইথনে ইউনিকোড স্ট্রিং রিপ্রেজেন্ট করতে হয় এবং ইউনিকোড সমতুল্য ব্যবহার করে সেগুলো ম্যানিপুলেট করতে হয়। প্রথমে, আমরা ইউনিকোড স্ট্রিংগুলোর টোকেনে আলাদা করব স্ক্রিপ্ট ডিটেকশনের সাহায্যে স্ট্যান্ডার্ড স্ট্রিং অপারেশনগুলির ইউনিকোড সমতুল্য ব্যবহার করে।
নিচের কোড চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশনের সাথে ফ্রি GPU (গ্রাফিক্যাল প্রসেসিং ইউনিট) অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর উপরে তৈরি।
print("Segment the word code points back to sentences")
print("Check if code point for a character in a word is present in the sentence")
sentence_word_char_codepoint = tf.RaggedTensor.from_row_lengths(
values=word_char_codepoint,
row_lengths=sentence_num_words)
print(sentence_word_char_codepoint)
print("Encoding it back to UTF-8")
tf.strings.unicode_encode(sentence_word_char_codepoint, 'UTF-8').to_list()
কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/unicode
আউটপুট
Segment the word code points back to sentences Check if code point for a character in a word is present in the sentence <tf.RaggedTensor [[[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46]], [[19990, 30028], [12371, 12435, 12395, 12385, 12399]]]> Encoding it back to UTF-8 [[b'Hello', b', ', b'there', b'.'], [b'\xe4\xb8\x96\xe7\x95\x8c', b'\xe3\x81\x93\xe3\x82\x93\xe3\x81\xab\xe3\x81\xa1\xe3\x81\xaf']]
ব্যাখ্যা
- কোড পয়েন্টগুলো সেন্টেন্সে সেগমেন্ট করা হয়েছে।
- নির্ধারণ করা হয়েছে কোনো ক্যারেক্টারের কোড পয়েন্ট সেন্টেন্সে আছে কিনা।
- ডিকোড করা ডেটা UTF-8 এনকোডিং-এ ফেরত এনকোড করা হয়েছে।
