একটি RaggedTensor বাক্যে শব্দের শুরুর অফসেট ব্যবহার করে তৈরি করা যেতে পারে। প্রথমত, বাক্যের প্রতিটি শব্দের প্রতিটি অক্ষরের কোড পয়েন্ট তৈরি করা হয়। এর পরে, তারা কনসোলে প্রদর্শিত হয়। সেই নির্দিষ্ট বাক্যে শব্দের সংখ্যা নির্ধারণ করা হয়, এবং অফসেট নির্ধারণ করা হয়।
আরো পড়ুন: টেনসরফ্লো কী এবং নিউরাল নেটওয়ার্ক তৈরি করতে টেনসরফ্লো-এর সাথে কেরাস কীভাবে কাজ করে?
পাইথন ব্যবহার করে ইউনিকোড স্ট্রিংগুলিকে প্রতিনিধিত্ব করুন, এবং ইউনিকোড সমতুল্যগুলি ব্যবহার করে তাদের ম্যানিপুলেট করুন৷ প্রথমে, আমরা স্ট্যান্ডার্ড স্ট্রিং অপ্সের ইউনিকোড সমতুল্যের সাহায্যে স্ক্রিপ্ট সনাক্তকরণের উপর ভিত্তি করে ইউনিকোড স্ট্রিংগুলিকে টোকেনে আলাদা করব৷
নিচের কোডটি চালানোর জন্য আমরা Google Colaboratory ব্যবহার করছি। Google Colab বা Colaboratory ব্রাউজারে Python কোড চালাতে সাহায্য করে এবং এর জন্য শূন্য কনফিগারেশন এবং GPUs (গ্রাফিক্যাল প্রসেসিং ইউনিট) তে বিনামূল্যে অ্যাক্সেস প্রয়োজন। জুপিটার নোটবুকের উপরে কোলাবোরেটরি তৈরি করা হয়েছে।
print("Get the code point of every character in every word")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
values=sentence_char_codepoint.values,
row_starts=word_starts)
print(word_char_codepoint)
print("Get the number of words in the specific sentence")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1) কোড ক্রেডিট:https://www.tensorflow.org/tutorials/load_data/unicode
আউটপুট
Get the code point of every character in every word <tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]> Get the number of words in the specific sentence
ব্যাখ্যা
- প্রতিটি শব্দের প্রতিটি অক্ষরের জন্য কোড পয়েন্ট তৈরি করা হয়েছে।
- এগুলি কনসোলে প্রদর্শিত হয়৷ ৷
- সেই নির্দিষ্ট বাক্যে শব্দের সংখ্যা নির্ধারণ করা হয়।
