আমি "টোকেনাইজার", "পার্সার" এবং "লেক্সার" কী এবং কীভাবে তারা একে অপরের সাথে সম্পর্কিত তার একটি পরিষ্কার সংজ্ঞা খুঁজছি (উদাহরণস্বরূপ, কোনও পার্সার টোকেনাইজার ব্যবহার করে বা বিপরীতে)? আমার ডেটা ঘোষণা এবং সংজ্ঞাগুলি নিষ্কাশন করতে সি / এইচ উত্স ফাইলগুলির মধ্য দিয়ে একটি প্রোগ্রাম তৈরি করা দরকার।
আমি উদাহরণগুলির সন্ধান করছি এবং কিছু তথ্য সন্ধান করতে পারি, তবে ব্যাকরণ নিয়ম, পার্স গাছ এবং বিমূর্ত বাক্য গঠন এবং কীভাবে তারা একে অপরের সাথে সম্পর্ক স্থাপন করে সেগুলি অন্তর্নিহিত ধারণাগুলি উপলব্ধি করতে আমি সত্যিই সংগ্রাম করছি। শেষ পর্যন্ত এই ধারণাগুলি একটি আসল প্রোগ্রামে সংরক্ষণ করা দরকার, তবে 1) এগুলি দেখতে কেমন, 2) সাধারণ বাস্তবায়ন রয়েছে।
আমি লেক্স এবং ইয়্যাকের মতো এই বিষয়গুলি এবং প্রোগ্রামগুলিতে উইকিপিডিয়ায় নজর রাখছি, তবে কোনও সংকলক ক্লাস (ইই মেজর) এর মধ্যে দিয়ে যাইনি আমি কী চলছে তা পুরোপুরি বুঝতে অসুবিধে হচ্ছে।