একটি ক্যারেক্টার সিকোয়েন্স এবং একটি ডিফাইনড ডকুমেন্ট ইউনিট দিয়ে, টোকেনাইজেশন হলো এটি টুকরো টুকরো করে টোকেন নামক টুকরোতে ভাগ করার কাজ, একই সময়ে কিছু ক্যারেক্টার যেমন puntuaction বাদ দিয়ে। NLTK ও পাইথনের প্রেক্ষাপটে, এটি সিম্পলি প্রতিটি টোকেনকে একটি লিস্টে রাখার প্রক্রিয়া যাতে আমরা প্রতিটি অক্ষরের পরিবর্তে প্রতিটি টোকেন ওপর ইটারেট করতে পারি।
উদাহরণস্বরূপ, ইনপুট স্ট্রিং দেওয়া −
Hi man, how have you been?
আমরা আউটপুট পাব −
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
আমরা NLTK-এর word_tokenize মেথড ব্যবহার করে এই টেক্সট টোকেনাইজ করতে পারি। উদাহরণস্বরূপ,
উদাহরণ
from nltk.corpus import stopwords from nltk.tokenize import word_tokenize my_sent = "Hi man, how have you been?" tokens = word_tokenize(my_sent) print(tokens)
আউটপুট
এটি আউটপুট দেবে −
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
