একটি টোকেন হল একটি C++ প্রোগ্রামের ক্ষুদ্রতম উপাদান যা কম্পাইলারের জন্য অর্থপূর্ণ। C++ পার্সার এই ধরনের টোকেনগুলিকে স্বীকৃতি দেয়:শনাক্তকারী, কীওয়ার্ড, লিটারেল, অপারেটর, বিরামচিহ্ন এবং অন্যান্য বিভাজক। এই টোকেনগুলির একটি প্রবাহ একটি অনুবাদ ইউনিট তৈরি করে। টোকেন সাধারণত সাদা স্থান দ্বারা পৃথক করা হয়।
পার্সার কীওয়ার্ড, আইডেন্টিফায়ার, লিটারেল, অপারেটর এবং বিরাম চিহ্নকে চিনতে পারে। প্রিপ্রসেসিং টোকেনগুলি (যেমন #ইনক্লুড, #ডেফাইন, #if_def, ইত্যাদি) কম্পাইলারে পাস করা টোকেন স্ট্রীম তৈরি করতে প্রি-প্রসেসিং পর্যায়ে ব্যবহার করা হয়। প্রিপ্রসেসিং টোকেন ক্যাটাগরি হল হেডারের নাম, আইডেন্টিফায়ার, প্রিপ্রসেসিং নম্বর, ক্যারেক্টার লিটারেল, স্ট্রিং লিটারেল ইত্যাদি যা অন্য ক্যাটাগরির একটির সাথে মেলে না। অক্ষর এবং স্ট্রিং লিটারালগুলি ব্যবহারকারী-সংজ্ঞায়িত আক্ষরিক হতে পারে। প্রি-প্রসেসিং টোকেন সাদা স্থান বা মন্তব্য দ্বারা পৃথক করা যেতে পারে।
পার্সার একটি বাম-থেকে-ডান স্ক্যানে ইনপুট অক্ষর ব্যবহার করে সম্ভাব্য দীর্ঘতম টোকেন তৈরি করে ইনপুট স্ট্রিম থেকে টোকেনগুলিকে আলাদা করে৷
