টেনসরফ্লো এবং পাইথন দিয়ে ওয়ার্ড লিস্ট থেকে র্যাগড টেনসর তৈরির পদ্ধতি

একটি RaggedTensor সেন্টেন্সের ওয়ার্ডগুলোর স্টার্টিং অফসেট ব্যবহার করে তৈরি করা যায়। প্রথমে, সেন্টেন্সের প্রতিটি শব্দের প্রতিটি ক্যারেক্টারের কোড পয়েন্ট তৈরি করা হয়। তারপর সেগুলো কনসোলে প্রদর্শন করা হয়। সেই নির্দিষ্ট সেন্টেন্সের শব্দের সংখ্যা এবং অফসেট নির্ধারণ করা হয়।

আরও পড়ুন: টেনসরফ্লো কী এবং কেরাস কীভাবে টেনসরফ্লোর সাথে কাজ করে নিউরাল নেটওয়ার্ক তৈরি করতে?

পাইথনে ইউনিকোড স্ট্রিং রিপ্রেজেন্ট করুন এবং ইউনিকোড সমতুল্য ব্যবহার করে সেগুলো ম্যানিপুলেট করুন। প্রথমে, আমরা ইউনিকোড স্ট্রিংগুলোর টোকেনে আলাদা করব স্ক্রিপ্ট ডিটেকশনের সাহায্যে স্ট্যান্ডার্ড স্ট্রিং অপারেশনগুলির ইউনিকোড সমতুল্য ব্যবহার করে।

নিচের কোড চালাতে আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে পাইথন কোড চালাতে সাহায্য করে এবং শূন্য কনফিগারেশনের সাথে ফ্রি GPU (গ্রাফিক্যাল প্রসেসিং ইউনিট) অ্যাক্সেস দেয়। Colaboratory Jupyter Notebook-এর উপরে তৈরি।

print("Get the code point of every character in every word")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
    values=sentence_char_codepoint.values,
    row_starts=word_starts)
print(word_char_codepoint)
print("Get the number of words in the specific sentence")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)

কোড ক্রেডিট: https://www.tensorflow.org/tutorials/load_data/unicode

আউটপুট

Get the code point of every character in every word <tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]> Get the number of words in the specific sentence

ব্যাখ্যা

প্রতিটি শব্দের প্রতিটি ক্যারেক্টারের কোড পয়েন্ট তৈরি করা হয়েছে।
এগুলো কনসোলে প্রদর্শন করা হয়েছে।
নির্দিষ্ট সেন্টেন্সের শব্দের সংখ্যা নির্ধারণ করা হয়েছে।