একটি টোকেন হলো একটি C++ প্রোগ্রামের সবচেয়ে ছোট এলিমেন্ট যা কম্পাইলার کے জন্য meaningful। C++ পারসার এই ধরনের টোকেনগুলো চিনতে পারে: আইডেন্টিফায়ার, কিওয়ার্ড, লিটারেল, অপারেটর, পঙ্কচুয়েটর, এবং অন্যান্য সেপারেটর। এই টোকেন들의 একটি স্ট্রিম একটি ট্রান্সলেশন ইউনিট তৈরি করে। টোকেনগুলো সাধারণত হোয়াইট স্পেস দ্বারা বিভক্ত থাকে।
পারসার কিওয়ার্ড, আইডেন্টিফায়ার, লিটারেল, অপারেটর, এবং পঙ্কচুয়েটর চিনতে পারে। প্রিপ্রসেসিং টোকেন (যেমন #include, #define, #if_def, ইত্যাদি) প্রিপ্রসেসিং ফেজে ব্যবহৃত হয় কম্পাইলারের কাছে পাস করার জন্য টোকেন স্ট্রিম জেনারেট করতে। প্রিপ্রসেসিং টোকেন ক্যাটাগরিগুলো হলো: হেডার নাম, আইডেন্টিফায়ার, প্রিপ্রসেসিং নম্বর, ক্যারেক্টার লিটারেল, স্ট্রিং লিটারেল, ইত্যাদি যা অন্য ক্যাটাগরির সাথে মেলে না। ক্যারেক্টার এবং স্ট্রিং লিটারেল ইউজার-ডিফাইন্ড লিটারেল হতে পারে। প্রিপ্রসেসিং টোকেনগুলো হোয়াইট স্পেস বা কমেন্ট দ্বারা বিভক্ত হতে পারে।
একটি আইডেন্টিফায়ার হলো যেকোনো কিছু যা ব্যবহারকারী নাম দেয়। উদাহরণস্বরূপ মেথড নাম, ভেরিয়েবল নাম, স্ট্রাকচার নাম, ক্লাস নাম, ইত্যাদি সবই আইডেন্টিফায়ার। C++-এ, কিওয়ার্ডগুলো রিজার্ভড আইডেন্টিফায়ার যeket একটি প্রোগ্রামে ভেরিয়েবল নাম হিসেবে ব্যবহার করা যাবে না।
