ব্যাকরণ নিয়মের একটি সেট ব্যবহার করে কি কখনও ইংরেজী ভাষা সাধারণ করা যায়?


10

প্রোগ্রামিং ভাষায়, ব্যাকরণের নিয়মের একটি সেট রয়েছে যা বৈধ বিবৃতি এবং মত প্রকাশের জন্য পরিচালনা করে। এই নিয়মগুলি ব্যবহারকারীর দ্বারা লিখিত প্রোগ্রামগুলি বিশ্লেষণে সহায়তা করে।

সেখানে কি কখনো ব্যাকরণ নিয়ম একটি বৈশিষ্ট্যগুলি সম্পূর্ণ সেট যা ইংরেজি (স্থানীয়ের জন্য নির্দিষ্ট করা) কোন বিবৃতি বিশ্লেষণ করতে হতে পারে নির্ভুলভাবে এবং যা সম্ভবত এআই ভিত্তিক প্রকল্পে ব্যবহারের জন্য বাস্তবায়িত করা যেতে পারে?

আমি জানি যে অনলাইনে প্রচুর এনএলপি টুলকিট পাওয়া যায়, তবে সেগুলি কার্যকর নয়। তাদের বেশিরভাগ নির্দিষ্ট সংস্থাগুলি ব্যবহার করে প্রশিক্ষণপ্রাপ্ত হন যা কখনও কখনও কোনও অভিব্যক্তির বিভিন্ন অংশের মধ্যে কিছু জটিল সম্পর্ক স্থাপন করতে ব্যর্থ হয়।

অন্য কথায়, আমি যা জিজ্ঞাসা করছি তা হল যে কোনও কম্পিউটারের পক্ষে যদি ইংরেজিতে লেখা কোনও সুপরিচিত বাক্যকে পার্স করা সম্ভব হয় তবে এটি কোনও প্রাপ্তবয়স্ক ইংরেজী-ভাষী মানুষের দ্বারা পার্স করা হয়েছিল?

সম্পাদনা: যদি সাধারণ ব্যাকরণের নিয়মগুলি ব্যবহার করে এটি প্রতিনিধিত্ব করা না যায় তবে এটিকে সাধারণকরণের জন্য কোন ধরণের শব্দার্থক কাঠামো ব্যবহার করা যেতে পারে?

সম্পাদনা 2: এই কাগজটি প্রাকৃতিক ভাষায় প্রসঙ্গ- নিখরচায়তার অনুপস্থিতি প্রমাণ করে। আমি এটি খুব জটিল হলেও সমাধানের সন্ধান করছি।


2
আমার এটির ব্যাক আপ করার রেফারেন্স নেই তবে আমি মনে করি এটি গাণিতিকভাবে প্রমাণিত হয়েছে যে আপনি এটি করতে পারবেন না - ইংরেজী বোঝার জন্য পুরোপুরি প্রসঙ্গের ইঙ্গিত দরকার যা উচ্চ স্তরের শব্দার্থিক যুক্তির দাবি রাখে যা এতে অন্তর্ভুক্ত থাকতে পারে না ব্যাকরণ নিয়ম.
antlersoft

উইকিপিডিয়া অনুযায়ী প্রাকৃতিক ভাষায় অধিকাংশ অংশ আছে প্রেক্ষাপটে ফ্রী: en.wikipedia.org/wiki/...
inf3rno

উত্তর:


8

এমন কি ব্যাকরণের নিয়মের কোনও কার্যকরী সম্পূর্ণ সেট থাকতে পারে যা ইংরেজীতে কোনও বিবৃতি (স্থানীয়ভাবে নির্দিষ্ট) পার্স করতে পারে এবং এআই-ভিত্তিক প্রকল্পগুলিতে সম্ভবত ব্যবহারের জন্য প্রয়োগ করা যেতে পারে?

হ্যাঁ পার্স করুন, সঠিকভাবে সম্ভবত সম্ভবত না।

কেন?

আমরা শব্দগুলি থেকে কীভাবে অর্থ গ্রহণ করি তা সম্পর্কে আমার উপলব্ধি অনুসারে 2 টি পরিপূরক কৌশল রয়েছে:

ব্যাকরণের নিয়ম: শব্দের যোগাযোগের সুবিধার্থে অর্ডার দেওয়ার জন্য একটি নিয়ম ভিত্তিক সিস্টেম, যার অর্থ বিচ্ছিন্ন শব্দ এবং তাদের স্বতন্ত্র অর্থের মিথস্ক্রিয়া থেকে উদ্ভূত হয়, সুতরাং আপনি কোনও নিয়মের বইয়ের উপর ভিত্তি করে একটি বাক্যকে পার্স করতে পারেন।

EG "এটি ছিল একটি বিজয়" : পার্সার একটি অনুরূপ অর্থ ( এটি ) সংশ্লিষ্ট অর্থ (একটি নির্দিষ্ট ব্যক্তি বা জিনিস) দিয়ে বের করবেন; একটি ক্রিয়া ( ছিল ) সম্পর্কিত অর্থ সহ (ঘটেছে); ( ) এবং এখানে আমরা কিছু পার্সিং সমস্যা নিয়ে শুরু করি, পার্সার এক্সট্রাক্ট, একটি বিশেষ্য বা একটি অনির্দিষ্ট নিবন্ধ কী হবে? সুতরাং আমরা ব্যাকরণ নিয়মের বইয়ের পরামর্শ নিই এবং অর্থটির জন্য নিষ্পত্তি করি (অনির্দিষ্ট নিবন্ধ যে কোনও একটি), আপনাকে পরবর্তী শব্দটি বিশ্লেষণ করতে হবে এবং যদিও এটি উল্লেখ করতে হবে, তবে আসুন আপাতত এটি নিয়ে টুকরো টুকরো করা এবং শেষ পর্যন্ত ( বিজয় ) একটি বিশেষ্য (এটি একটি ক্রিয়াপদও হতে পারে, তবে ব্যাকরণ নিয়ম বইটির জন্য আমরা একটি বিশেষ্যটির অর্থ স্থির করেছিলাম: (বিজয়, বিজয়), সুতরাং শেষ পর্যন্ত আমাদের রয়েছে (অর্থগুলিতে যোগ দেওয়া):

একটি নির্দিষ্ট জিনিস জয়ের ঘটনা ঘটেছে। যথেষ্ট বন্ধ করুন এবং আমি কয়েকটি অন্যান্য নিয়ম নিয়ে টকটকে আছি, কিন্তু এটি তেমন নয়, অন্যান্য কৌশলটি হ'ল:

একটি শাব্দিক অভিধান (বা অভিধান) যেখানে শব্দ বা শব্দ নির্দিষ্ট অর্থের সাথে জড়িত। এখানে অর্থ এক বা একাধিক শব্দ বা একক হিসাবে শব্দ থেকে প্রাপ্ত। এটি সমস্যাটিকে পার্সারের সাথে পরিচয় করিয়ে দেয়, যেহেতু ভাল, এটি কোনও কিছুর বিশ্লেষণ করা উচিত নয়।

EG "নন প্লাস আল্ট্রা" এবং সুতরাং এআই পার্সার বুঝতে পারে যে এই বাক্যাংশটি বিশ্লেষণ করা হবে না এবং পরিবর্তে অর্থের সাথে মিলে যাবে:

সর্বোচ্চ পয়েন্ট বা চূড়ান্ত

লেক্সিকাল ইউনিটগুলি অন্য একটি সমস্যা প্রবর্তন করে যাতে তারা নিজেরাই প্রথম উদাহরণের অংশ হতে পারে এবং তাই আপনি পুনরাবৃত্তিটি শেষ করেন।

যদি কোনও কম্পিউটারের পক্ষে ইংরেজিতে লেখা একটি ভাল-বুদ্ধিমান বাক্যকে পার্স করা সম্ভব হয় তবে এটি কোনও প্রাপ্তবয়স্ক ইংরেজী-ভাষী মানুষ দ্বারা পার্স করা হয়েছিল?

আমি বিশ্বাস করি এটি সম্ভব হতে পারে, বেশিরভাগ উদাহরণগুলি আমি ব্যাকরণের নিয়ম বই বা অভিধানের অংশের সাথে কার্যকরভাবে ডিল করেছি, তবে আমি উভয়ের সংমিশ্রণ সম্পর্কে সচেতন নই, তবে প্রোগ্রামিংয়ের ক্ষেত্রে এটি ঘটতে পারে।

দুর্ভাগ্যক্রমে এমনকি যদি আপনি এই সমস্যার সমাধান করেন, আপনার এআই সত্যই কঠোর অর্থে জিনিসগুলি বুঝতে পারবেন না, বরং আপনাকে খুব বিস্তৃত প্রতিশব্দ সহ উপস্থাপন করবেন, অতিরিক্ত প্রসঙ্গে (মন্তব্যগুলিতে বর্ণিত) ব্যাকরণ এবং অভিধান সংক্রান্ত কৌশলগুলিতে ভূমিকা রাখে।

যদি এটিকে সাধারণ ব্যাকরণের নিয়মগুলি ব্যবহার করে প্রতিনিধিত্ব করা যায় না, তবে এটিকে সাধারণকরণের জন্য কোন ধরণের শব্দার্থক কাঠামো ব্যবহার করা যেতে পারে?

একটি মিশ্র এক যেখানে ব্যাকরণের নিয়ম এবং একটি অভিধান এবং উভয়ই পরিবর্তিত হতে পারে এবং এআই নির্দিষ্ট প্রসঙ্গ এবং অভিজ্ঞতার উপর ভিত্তি করে প্রভাবিত হতে পারে পাশাপাশি এই বিষয়গুলির সাথে ডিল করার ব্যবস্থাও একটি উপায় হতে পারে।


আমার ইংরাজির পরিধিটি আনুষ্ঠানিক ব্যবহারের মধ্যে সীমাবদ্ধ। যদি আমরা একবারে রূপক বা মূর্তিগুলির মতো খুব জটিল সত্ত্বাকে এড়িয়ে চলে যাই তবে একটি প্রসঙ্গে সংবেদনশীল ব্যাকরণের সংজ্ঞা কি উদ্দেশ্য অর্জন করবে?
skrtbhtngr

@ এসসিআরটিবিএইচটিংআর: তাত্ত্বিকভাবে হ্যাঁ, এটি আনুষ্ঠানিক ভাষা হওয়ায় এটি একটি উপসেট হবে, প্রেক্ষাপট এখনও কঠিন সমস্যা হবে।
কেনো

পার্শ্বের কেস: "এটি একটি ট্রায়াম্ফ" বিভিন্ন কারণে মোটরসাইকেলের বিষয়ে কথা বলছিল (প্রথম বাইক, পোড়া বাইক), সম্ভবত আমরা যুক্তি দিতে পারি যে একটি বিশেষ্য থেকে ব্র্যান্ডকে আলাদা করতে একটি বড় হাতের অক্ষর লাগে।
তেনসিভাই

আমি সম্মত হই যে পাঠ্যের অর্থ বোঝা শক্ত অংশ। কেবল একটি সহজ বাক্য: "পিটার সিনেমাতে গিয়েছিলেন।" প্রচুর গোপন তথ্য রয়েছে: পিটার পুরুষ, তিনি সম্ভবত সেখানে তার বান্ধবীর সাথে একটি চলচ্চিত্র দেখতে গিয়েছিলেন, তার অবস্থান পরিবর্তন হয়েছে ইত্যাদি ... উদাহরণস্বরূপ একটি মডেল তৈরি করা পাঠ্যের উপর ভিত্তি করে গ্রাফ যথেষ্ট নয়, কারণ এটি স্থির কিছু নয়, এটি একাধিক টাইমলাইন, ইভেন্ট এবং প্রসঙ্গ বর্ণনা করতে পারে, পাশাপাশি প্রতিটি বাক্যেই লুকানো তথ্য রয়েছে যা আপনি পূর্ববর্তী বা নিম্নলিখিত বাক্যগুলি বুঝতে এবং ব্যবহার করতে পারেন।
inf3rno

2

আমি দৃ sure়ভাবে নিশ্চিত যে উত্তরটি কঠোর অর্থে "" নয় ", কারণ ইংরেজীটির কেবল কোনও আনুষ্ঠানিক সংজ্ঞা নেই। অর্থাৎ, কেউই ইংরেজী নিয়ন্ত্রণ করে না এবং একটি আনুষ্ঠানিক ব্যাকরণ প্রকাশ করে যা প্রত্যেকেরই মেনে চলা প্রয়োজন। ইংরেজি একটি পরীক্ষামূলক প্রক্রিয়ার মাধ্যমে গঠিত এবং এর মধ্যে দ্বন্দ্ব এবং ত্রুটি রয়েছে, তবে মানব মনের সম্ভাব্য প্রকৃতি আমাদের সেগুলির চারপাশে কাজ করতে দেয়।

উদাহরণস্বরূপ, এই "বাক্য":

এই বাক্য কোন ক্রিয়া

প্রযুক্তিগতভাবে এটি কোনও বাক্য নয়, কারণ এটির ক্রিয়াপদ নেই। তবে এর অর্থ কী বোঝার জন্য কারও কোনও সমস্যা হয়েছিল? সন্দিহান। যদিও এটির জন্য একটি আনুষ্ঠানিক নিয়ম নিয়ে আসার চেষ্টা করুন। এবং এটি একটি উদাহরণ।

এখন, আপনি কি এমন একটি আনুষ্ঠানিক ব্যাকরণ নিয়ে আসতে পারেন যা সম্ভবত 90% কেস কভার করে এবং বেশিরভাগ ব্যবহারিক ব্যবহারের জন্য "যথেষ্ট ভাল"? সম্ভবত, সম্ভবত এমনকি। তবে আমি নিশ্চিত যে এটি 100% পাওয়া সম্ভব নয়।


1
আপনার উদাহরণ ব্যাকরণগত নয়, তবে কোনও ব্যাকরণে এটি বর্ণনা করার জন্য কোনও আনুষ্ঠানিক নিয়ম থাকা উচিত কেন?
ব্লাইন্ডকংফুমাস্টার

1
এটাই আমার বক্তব্য। এটি স্পষ্টতই ইংরেজি এবং এটি স্পষ্টভাবে বোধগম্য, তবে যদি ইংরেজি ব্যাকরণের সাধারণ ব্যবহৃত সংজ্ঞাটি পূরণ করতে ব্যর্থ হয়। অতএব এটি কীভাবে সত্য-বিশ্বের কথিত ইংরাজী কঠোর ব্যাকরণের সীমার বাইরে কাজ করে তার একটি উদাহরণ।
মাইন্ডক্রিম

2

আমরা এই সিদ্ধান্তে পৌঁছেছি যে এটি একটি দ্বি-মুখী, বিজ্ঞপ্তিযুক্ত সমস্যা: বিন্যাসকে বিন্যাস ব্যতীত অনুমান করা যায় না তবে কাঠামোটি জানার ফলেও প্রসঙ্গে অনুমান করা যায়। সুতরাং, আপনার জটিল সমাধানটি এখানে: প্রসঙ্গে শুরু করুন, যা বাক্যটির শব্দের সংমিশ্রণ (সংযোজক এবং অনুসন্ধানের সমস্যা) দ্বারা নির্ধারিত হয়, সেখান থেকে আপনার কাঠামো নির্ধারণ করে, বা "পার্স" (এই ধাপে আপনি কিছু ফিল্টারও করতে পারেন) তুচ্ছ শব্দ বা কমপক্ষে এগুলিকে কম ওজন নির্ধারণ করুন), প্রসঙ্গে ফিরে যান, পার্সিংয়ে ফিরে যান এবং আপনি অর্থটি না পৌঁছানো পর্যন্ত চালিয়ে যান। এই পুনরাবৃত্তির দ্বারা, পুনরাবৃত্তি হ্রাস পুরো সমস্যা সমাধান করা যেতে পারে।


2

আমি পূর্বের সমস্ত মন্তব্যের সাথে দৃ strongly়ভাবে একমত নই। তারা ভুল বলে নয়, কারণ যা তারা নয় - তবে তারা বিভ্রান্তিকর - যদিও অজান্তেই।

উদাহরণস্বরূপ: যদি কেউ এই সমস্যাগুলিকে একাডেমিক অবস্থান থেকে দেখে তবে সমস্যাগুলি সর্বদা অদম্য বলে মনে হবে। এর কারণ হ'ল সবকিছু শীতলভাবে মূল্যায়ন করা হয় এবং সমস্ত কিছুতে বিচ্ছিন্নভাবে গণনা করা হয়।

উত্তরটি মূলত শব্দের সাথে সংযুক্ত থাকে । আপনাকে এমন একটি প্রোগ্রাম লিখতে হবে যা ডিজিটাল বইয়ের একটি বিস্তৃত ডাটাবেস প্রক্রিয়া করতে পারে, প্রতিটি শব্দ এবং এর সাথে যুক্ত সেই ভাষার সমস্ত শব্দ নিবন্ধ করতে পারে। প্রতিটি সম্পর্কিত শব্দ এবং এর সাথে সম্পর্কিত বিরামচিহ্নের সাথে সমস্ত পরিসংখ্যান সম্পর্কিত তথ্য।

এরপরে এটি আপনাকে এমন ভিত্তি দেবে যার ভিত্তিতে কোনও এআই বিভিন্ন সিদ্ধান্ত নিতে পারে:

  1. প্রদত্ত বাক্যটির গঠন সঠিক কিনা।
  2. যদি কাঠামোটি খারাপ হয়, তবে কী বলা হচ্ছে তার প্রসঙ্গ এবং উদ্দেশ্য নির্ধারণের জন্য সম্ভাবনাটি কী।
  3. পরিসংখ্যান অনুসারে - একটি বহুমুখী শব্দের (ট্রায়াম্ফ) সঠিক অর্থ এবং প্রয়োগ সম্ভাবনা দ্বারা -।
  4. কোন কথোপকথনটি সম্ভবত চলেছে তা নির্ধারণ করার জন্য।
  5. সঠিক ব্যাকরণ এবং বিরামচিহ্নগুলি কী হওয়া উচিত।

সুতরাং, উপসংহারে, আপনার কাছে দুটি জিনিস সন্ধান করতে হবে: সমিতি এবং সম্ভাবনা।

যখন ডিজিটালভাবে কোনও ভাষা মডেলকে ডেটাব্যাস করা হয়, তখন শব্দ এবং বাক্য "স্ট্রিংস" এর সম্ভাবনা দেখা দেয়, যাতে কোনও নির্দিষ্ট বাক্যে ভাষার কাঠামোর প্রতিটি প্রকরণ নির্ধারিত হতে পারে কোনও পাঠ্য নমুনার স্ক্রাইব করার আগে, সময় এবং পরে। ভাষার মডেল নিদর্শনগুলির উপর এই অন্তরঙ্গ নিয়ন্ত্রণ, এর অর্থ এই যে "সাবজেক্ট" এবং "অবজেক্ট" এর মতো সংবেদনশীল উপাদানগুলি কোড দ্বারা সহজেই নির্ধারণ করা যায়।


আমি মনে করি এটি অত্যধিক আশাবাদী। এটি কাজ করার জন্য ভাষা খুব অগোছালো।
অলিভার মেসন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.