একটি টোকেন হল একটি C++ প্রোগ্রামের ক্ষুদ্রতম উপাদান যা কম্পাইলারের জন্য অর্থপূর্ণ। C++ পার্সার এই ধরনের টোকেনগুলিকে স্বীকৃতি দেয়:শনাক্তকারী, কীওয়ার্ড, লিটারেল, অপারেটর, বিরামচিহ্ন এবং অন্যান্য বিভাজক। এই টোকেনগুলির একটি প্রবাহ একটি অনুবাদ ইউনিট তৈরি করে। টোকেন সাধারণত সাদা স্থান দ্বারা পৃথক করা হয়।
পার্সার কীওয়ার্ড, শনাক্তকারী, আক্ষরিক, অপারেটর এবং বিরাম চিহ্নগুলিকে চিনতে পারে৷ প্রিপ্রসেসিং টোকেনগুলি (যেমন #ইনক্লুড, #ডেফাইন, #if_def, ইত্যাদি) কম্পাইলারে পাস করা টোকেন স্ট্রীম তৈরি করতে প্রি-প্রসেসিং পর্যায়ে ব্যবহার করা হয়। প্রিপ্রসেসিং টোকেন ক্যাটাগরি হল হেডারের নাম, আইডেন্টিফায়ার, প্রিপ্রসেসিং নম্বর, ক্যারেক্টার লিটারেল, স্ট্রিং লিটারেল ইত্যাদি যা অন্য ক্যাটাগরির একটির সাথে মেলে না। অক্ষর এবং স্ট্রিং লিটারালগুলি ব্যবহারকারী-সংজ্ঞায়িত আক্ষরিক হতে পারে। প্রি-প্রসেসিং টোকেন সাদা স্থান বা মন্তব্য দ্বারা পৃথক করা যেতে পারে।
একটি শনাক্তকারী এমন কিছু যা ব্যবহারকারী একটি নাম দেয়৷ উদাহরণস্বরূপ পদ্ধতির নাম, পরিবর্তনশীল নাম, স্ট্রাকট নাম, শ্রেণির নাম, ইত্যাদি সমস্ত শনাক্তকারী। C++ এ, কীওয়ার্ড হল সংরক্ষিত শনাক্তকারী যা একটি প্রোগ্রামে ভেরিয়েবলের নাম হিসেবে ব্যবহার করা যায় না।
