শব্দের পরামর্শ সহ একটি বানান পরীক্ষক প্রয়োগ করার সময় সাধারণত কোন অ্যালগরিদম ব্যবহার করা হয়?
প্রথমে আমি ভেবেছিলাম যে অভিধানের প্রতিটি শব্দ থেকে লেভেনস্টেইনের দূরত্ব এবং শীর্ষ ফলাফলগুলি প্রত্যাবর্তন করে প্রতিটি নতুন শব্দ টাইপ করা (অভিধানে না পাওয়া গেলে) এটি পরীক্ষা করা বুদ্ধিমান হতে পারে । তবে এটি পুরো অক্ষরটি বারবার মূল্যায়ন করার পরে এটি অত্যন্ত অদক্ষ হবে বলে মনে হচ্ছে।
এটি সাধারণত কীভাবে করা হয়?
উত্তর:
পিটার নরভিগের একটি ভাল রচনা আছে কীভাবে কোনও বানান সংশোধক কার্যকর করতে হয়। এটি মূলত একটি নির্ধারিত সম্পাদনার দূরত্ব সহ প্রার্থী স্ট্রিং ব্যবহার করে এমন এক শক্তিশালী বাহিনীর পন্থা। ( ব্লুম ফিল্টার এবং দ্রুত প্রার্থী হ্যাশিং ব্যবহার করে আপনি কীভাবে বানান সংশোধনকারীর কার্যকারিতা উন্নত করতে পারেন তার কয়েকটি টিপস এখানে রইল ))
একটি বানান পরীক্ষকের প্রয়োজনীয়তা দুর্বল। আপনার কেবলমাত্র এটি খুঁজে পাবেন যে কোনও শব্দ অভিধানে নেই। আপনি একটি বানান পরীক্ষক তৈরি করতে ব্লুম ফিল্টার ব্যবহার করতে পারেন যা কম স্মৃতিশক্তি গ্রহণ করে। একটি ইংরেজী অভিধানের জন্য 64kb ব্যবহার করে জন বেন্টলে দ্বারা প্রোগ্রামিং পার্লগুলিতে একটি প্রাচীন সংস্করণ প্রকাশিত হয়েছে।
একটি বিকে-ট্রি একটি বিকল্প পদ্ধতি। একটি সুন্দর নিবন্ধ এখানে ।
লেভেনস্টেস্টিন দূরত্ব হ'ল কোনও বানান পরীক্ষকের জন্য সঠিক সম্পাদনার দূরত্ব নয়। এটি কেবল সন্নিবেশ, মুছে ফেলা এবং প্রতিস্থাপন জানে। স্থানান্তর অনুপস্থিত এবং 1 টি অক্ষর স্থানান্তরিত করার জন্য 2 উত্পাদন করে (এটি 1 মোছা এবং 1 সন্নিবেশ)। ডামেরাউ – লেভেনস্টাইন দূরত্ব হ'ল সম্পাদনার দূরত্ব।
আমি সফলতার সাথে ব্যবহার করেছি তবে কোথাও বর্ণিত কখনও দেখিনি এমন পরামর্শ উত্পন্ন করার জন্য একটি কৌশল হ'ল "খারাপ" হ্যাশ ফাংশন ব্যবহার করে প্রাক-গণনা পরামর্শগুলি (অভিধান তৈরি করার সময়)।
ধারণাটি হ'ল লোকেরা যে ধরনের বানান ত্রুটি তৈরি করে সেগুলি দেখে এবং হ্যাশ ফাংশনগুলি ডিজাইন করা যা তার সঠিক বানান হিসাবে একই বালতিতে একটি ভুল বানান নির্ধারণ করে।
উদাহরণস্বরূপ, একটি সাধারণ ভুল মত, ভুল স্বরবর্ণ ব্যবহার করা definate পরিবর্তে নির্দিষ্ট । সুতরাং আপনি একটি হ্যাশ ফাংশন ডিজাইন করেছেন যা সমস্ত স্বরকে একই বর্ণ হিসাবে বিবেচনা করে। এটি করার একটি সহজ উপায় হ'ল প্রথমে ইনপুট শব্দটিকে "স্বাভাবিককরণ" এবং তারপরে একটি নিয়মিত হ্যাশ ফাংশনটির মাধ্যমে সাধারণীকরণের ফলাফলটি রাখা হয়। এই উদাহরণে, স্বাভাবিককরণের ক্রিয়াটি সমস্ত স্বরগুলি ফেলে দিতে পারে, তাই definiteহয়ে যায় dfnt। "নরমালাইজড" শব্দটি পরে একটি সাধারণ হ্যাশ ফাংশন দিয়ে হ্যাশ করা হয়।
এই বিশেষ হ্যাশ ফাংশনটি ব্যবহার করে আপনার অভিধানের সমস্ত শব্দ একটি সহায়ক সূচীতে (হ্যাশ টেবিল) sertোকান। এই টেবিলের বালতিগুলিতে দীর্ঘতর সংঘর্ষের তালিকা থাকবে কারণ হ্যাশ ফাংশনটি "খারাপ", তবে সেই সংঘর্ষের তালিকাগুলি মূলত প্রাক-গণিত পরামর্শ।
এখন, যখন আপনি কোনও ভুল বানানযুক্ত শব্দটি খুঁজে পান, আপনি বালতিটির জন্য সংঘর্ষের তালিকাটি সন্ধান করুন যা ভুল সূচকটি মানচিত্রের সূচকগুলিতে ম্যাপ করে। তা দা: আপনার একটি পরামর্শের তালিকা আছে! আপনাকে যা করতে হবে তা হ'ল শব্দটিকে র্যাঙ্ক করা।
অনুশীলনে, অন্য ধরণের ত্রুটি যেমন ট্রান্সপোজড হরফ, একক / ডাবল লেটার এবং এমনকি ফোনেটিক ভুল বানান ধরার জন্য সরলবাদী সাউন্ডেক্স-এর মতো হ্যান্ড ফাংশনগুলির সাথে আপনাকে কয়েকটি সহায়ক ইনডেক্স প্রয়োজন need অনুশীলনে, আমি দীর্ঘতর পথ যেতে সরল উচ্চারণের সন্ধান পেয়েছি এবং তুচ্ছ টাইপগুলি সন্ধান করার জন্য ডিজাইন করা কিছুকে মূলত অপ্রচলিত করেছি।
সুতরাং এখন আপনি সহায়িকা সূচকের প্রতিটিতে ভুল বানান সন্ধান করুন এবং র্যাঙ্কিংয়ের আগে সংঘর্ষের তালিকাগুলিকে একত্রিত করুন।
মনে রাখবেন সংঘর্ষের তালিকায় কেবল শব্দ রয়েছে যা অভিধানে রয়েছে। বিকল্প বানান তৈরি করার চেষ্টা করার পদ্ধতির সাথে (পিটার নরভিগ প্রবন্ধে যেমন) আপনি হাজার হাজার প্রার্থী পেতে পারেন যা আপনাকে অভিধানের বিপরীতে ফিল্টার করতে হবে। প্রাক-গণিত পদ্ধতির সাহায্যে আপনি কয়েক শতাধিক প্রার্থী পেতে পারেন এবং আপনি জানেন যে তারা সবাই সঠিকভাবে বানান করেছেন, তাই আপনি সরাসরি র্যাঙ্কিংয়ে যেতে পারেন ip
আপডেট : আমি এরপরে একটি আলগোরিদিম বর্ণনা খুঁজে পেয়েছি যা এর অনুরূপ, ফারু বিতরণ অনুসন্ধান । এটি এখনও একটি সম্পাদনা-দূরত্ব সীমিত অনুসন্ধান, তবে এটি খুব দ্রুত কারণ প্রাক-গণনা পদক্ষেপটি আমার "খারাপ হ্যাশ ফাংশন" ধারণার মতো কাজ করে। ফারু কেবলমাত্র একটি খারাপ হ্যাশ ফাংশনটির সীমিত ধারণা ব্যবহার করে।
অভিধানে প্রতিটি শব্দের জন্য আপনাকে সম্পাদনের সঠিক দূরত্ব জানতে হবে না। সীমাবদ্ধতার মান পৌঁছানোর পরে আপনি অ্যালগরিদম থামাতে পারেন এবং শব্দটি বাদ দিতে পারেন। এটি আপনার প্রচুর কম্পিউটিং সময় সাশ্রয় করবে।
ইউনিক্স বানান প্রোগ্রামের মতো বানান পরীক্ষক কার্যকর করা খুব সহজ। উত্স কোডটি সর্বজনীনভাবে উপলভ্য। সংশোধন জড়িত থাকতে পারে, একটি কৌশল হ'ল সম্পাদনাগুলি করা এবং আবার পরীক্ষা করা যে এই নতুন শব্দটি অভিধানে রয়েছে কিনা। এই জাতীয় নতুন সম্পাদনাগুলি গোষ্ঠীভুক্ত এবং ব্যবহারকারীর কাছে প্রদর্শিত হতে পারে।
ইউনিক্স সিস্টেমে ম্যাক ইলরয়ের লিখিত একটি প্রোগ্রাম ব্যবহার করে। বিকল্প উপায় হ'ল একটি ট্রাই ব্যবহার করা যা বিশাল ফাইলগুলির ক্ষেত্রে কার্যকর হতে পারে।
ইউনিক্স পদ্ধতির একটি বিশাল অভিধানের জন্য খুব কম স্থানের প্রয়োজন কারণ এটি স্ক্র্যাটার হ্যাশ অ্যালগরিদম ব্যবহার করে।