ম্যাকসেন্ট, এমএল, বেয়েস এবং অন্যান্য ধরণের স্ট্যাটিস্টিকাল ইনফারেন্স পদ্ধতির মধ্যে তুলনা


21

আমি কোনও উপায়েই কোনও পরিসংখ্যানবিদ নই (আমি গাণিতিক পরিসংখ্যানের কোর্স করেছি কিন্তু এর চেয়ে বেশি কিছুই নেই), এবং সম্প্রতি তথ্য তত্ত্ব এবং পরিসংখ্যানিক মেকানিক্স অধ্যয়নকালে আমি "অনিশ্চয়তা পরিমাপ" / "এনট্রপি" নামে এই জিনিসটির মুখোমুখি হয়েছি। আমি এটির খিনচিন ডেরাইভেশনটি অনিশ্চয়তার পরিমাপ হিসাবে পড়েছি এবং এটি আমার কাছে বোধগম্য হয়েছিল। আপনি যে নমুনাতে এক বা একাধিক ফাংশন / গুলি এর গাণিতিক গড়টি জানেন তা জেনে জেনিসের ম্যাক্সেন্টের বিবরণ ছিল sense অবশ্যই অনিশ্চয়তার পরিমাপ হিসাবে বিবেচনা করুন -ΣপিআমিLnপিআমি

সুতরাং আমি পরিসংখ্যানগত অনুক্রমের অন্যান্য পদ্ধতির সাথে সম্পর্কটি খুঁজতে নেটটিতে অনুসন্ধান করেছি এবং Godশ্বর আমি বিভ্রান্ত হয়ে পড়েছিলেন। উদাহরণস্বরূপ এই গবেষণাপত্রটি ধরে নিচ্ছে, আমি ধরে নিলাম যে এটি ঠিক আছে, আপনি সমস্যার একটি উপযুক্ত সংস্কারের অধীনে এমএল অনুমানকারী পান; ম্যাকি তাঁর বইয়ে বলেছেন যে ম্যাকসেন্ট আপনাকে বিচিত্র জিনিস দিতে পারে এবং আপনি এটি কোনও বায়েশিয়ান অনুমানের সূচনা অনুমানের জন্য ব্যবহার করা উচিত নয়; ইত্যাদি .. ভাল তুলনা খুঁজে পেতে আমার সমস্যা হচ্ছে।

আমার প্রশ্নটি হ'ল আপনি কীভাবে অন্যান্য পদ্ধতির পরিমাণগত তুলনা (উদাহরণস্বরূপ খেলনা মডেলের ক্ষেত্রে প্রয়োগ করা হয়) এর সাথে পরিসংখ্যানগত অনুক্রম পদ্ধতি হিসাবে ম্যাক্সেন্টের দুর্বল এবং শক্তিশালী পয়েন্টগুলির একটি ব্যাখ্যা এবং / অথবা ভাল রেফারেন্স সরবরাহ করতে পারেন?

উত্তর:


19

ম্যাকসেন্ট এবং বয়েসিয়ান অনুমানের পদ্ধতিগুলি আপনার মডেলিং পদ্ধতিতে তথ্য অন্তর্ভুক্ত করার বিভিন্ন পদ্ধতির সাথে সমান। উভয়কে অ্যাক্সিয়োমেটিক গ্রাউন্ডে রাখা যেতে পারে (জন স্কিলিংয়ের "এক্সিমিয়ামস অফ ম্যাক্সিমাম এন্ট্রপি" এবং কক্সের "সম্ভাব্য অনুক্রমের বীজগণিত" )।

আপনার পূর্ববর্তী জ্ঞানটি যদি আপনার অনুমানের জায়গার উপরে একটি পরিমাপযোগ্য বাস্তব-মূল্যবান ফাংশন আকারে আসে, যাকে "পূর্ব" বলা হয় সে ক্ষেত্রে প্রয়োগ করা সহজ es যখন তথ্যটি আপনার হাইপোথিসিস স্পেসে কঠোর সীমাবদ্ধতার সেট হিসাবে আসে তখন ম্যাকসেন্ট সোজা থাকে। সত্যিকারের জীবনে, জ্ঞান "পূর্ব" আকারে বা "সীমাবদ্ধতা" আকারে আসে না, সুতরাং আপনার পদ্ধতির সাফল্য আপনার রূপটি সম্পর্কিত আকারে আপনার জ্ঞান উপস্থাপনের ক্ষমতার উপর নির্ভর করে।

খেলনা সমস্যার ক্ষেত্রে, বায়েশিয়ান মডেলটির গড় গড় আপনাকে সর্বনিম্ন গড় লগ-ক্ষতি (অনেকগুলি মডেলের আঁকতে গড়) দেয় যখন পূর্বের অনুমানের সত্যিকারের বিতরণটির সাথে মেলে। ম্যাক্সেন্টের পদ্ধতি আপনাকে সর্বাধিক খারাপ-ক্ষেত্রে লগ-ক্ষতি দেয় যখন তার সীমাবদ্ধতাগুলি সন্তুষ্ট হয় (সমস্ত সম্ভাব্য প্রিজনীর চেয়ে খারাপ গ্রহণ করা)

"ম্যাক্সেন্ট" পদ্ধতির জনক হিসাবে বিবেচিত ইটিজেয়েনসও বায়েশিয়ান পদ্ধতিতে নির্ভর করেছিলেন। উপর পৃষ্ঠা 1412 তাঁর বই , তিনি একটি উদাহরণ যেখানে Bayesian পদ্ধতির একটি ভাল সমাধান ফলে, একটি উদাহরণ দ্বারা অনুসরণ যেখানে Maxent পদ্ধতির আরো স্বাভাবিক দেয়।

সর্বাধিক সম্ভাবনাটি মূলত মডেলটিকে কিছু প্রাক-নির্ধারিত মডেলের জায়গার অভ্যন্তরে শুয়ে থাকে এবং এটি "যথাসম্ভব কঠিন" এমন এক অর্থে ধরে রাখার চেষ্টা করে যে এরূপ মডেল বাছাইয়ের পদ্ধতিগুলির মধ্যে সীমাবদ্ধ সমস্ত মডেল-বাছাইয়ের পদ্ধতিগুলির মধ্যে ডেটাতে সর্বোচ্চ সংবেদনশীলতা থাকবে স্থান। ম্যাকসেন্ট এবং বায়েশিয়ান ফ্রেমওয়ার্ক হিসাবে, এমএল হ'ল একটি কংক্রিট মডেল ফিটিং পদ্ধতি, এবং কিছু নির্দিষ্ট নকশার পছন্দগুলির জন্য, এমএল বায়েশিয়ান বা ম্যাকসেন্ট পদ্ধতির বাইরে আসা পদ্ধতিটি শেষ করতে পারে। উদাহরণস্বরূপ, সাম্য সীমাবদ্ধতার সাথে ম্যাকসেন্ট একটি নির্দিষ্ট ঘাতক পরিবারের সর্বোচ্চ সম্ভাবনার ফিটির সমতুল্য। একইভাবে, বায়েশিয়ান ইনফারেন্সের একটি আনুমানিকতা সর্বাধিক সম্ভাবনার সমাধানকে নিয়মিত করতে পারে। আপনি যদি সিদ্ধান্তে উপাত্তকে সর্বাধিক সংবেদনশীল করে তুলতে আপনার পূর্বেটি বেছে নেন, বায়েশিয়ান অনুমানের ফলাফলটি সর্বাধিক সম্ভাবনার উপযুক্ততার সাথে মিলবে। এই ক্ষেত্রে,পি বের্নুলির বিচারের উপর, এই ধরনের পূর্বে হবে সীমিত বন্টন বিটা (0,0)

রিয়েল-লাইফ মেশিন লার্নিং সাফল্যগুলি প্রায়শই বিভিন্ন দর্শনের মিশ্রণ। উদাহরণস্বরূপ, "র্যান্ডম ক্ষেত্রগুলি" ম্যাকসেন্ট নীতি থেকে উদ্ভূত হয়েছিল । ধারণার সর্বাধিক জনপ্রিয় বাস্তবায়ন, নিয়মিত সিআরএফ, পরামিতিগুলিতে একটি "পূর্ব" যুক্ত করা জড়িত। ফলস্বরূপ, পদ্ধতিটি আসলে ম্যাক্সেন্ট বা বায়েশিয়ান নয়, তবে উভয় বিদ্যালয়ের দ্বারা প্রভাবিত।

আমি এখানে এবং এখানে বয়েসিয়ান এবং ম্যাকসেন্ট পদ্ধতির দার্শনিক ভিত্তির কয়েকটি লিঙ্ক সংগ্রহ করেছি ।

পরিভাষায় নোট: কখনও কখনও লোকেরা তাদের পদ্ধতিটিকে বায়েসিয়ান বলে কেবল যদি এটি কোনও পর্যায়ে বেয়েস বিধি ব্যবহার করে। একইভাবে, "ম্যাক্সেন্ট" কখনও কখনও এমন কোনও পদ্ধতির জন্য ব্যবহৃত হয় যা উচ্চ এনট্রপি সমাধানের পক্ষে হয়। এটি উপরে বর্ণিত হিসাবে "ম্যাক্সেন্ট আনসারেন্স" বা "বায়সিয়ান ইনফারেন্স" এর মতো নয়


1
ধন্যবাদ। আমি ভাবিনি যে "বিজ্ঞানের যুক্তি" এই জিনিসগুলি সম্পর্কেও কথা বলেছে, আমি অবশ্যই এই বইটি পড়তে চলেছি।
ফ্রান্সেস্কো

19

সর্বাধিক এনট্রপি পদ্ধতিগুলির একটি বিনোদনমূলক সমালোচনার জন্য, আমি সাইন্ড.স্ট্যাট.ম্যাথ এবং সাইজ.স্ট্যাট কনসাল্টে কিছু পুরানো নিউজগ্রুপ পোস্টগুলি পড়ার পরামর্শ দেব, বিশেষত র‌্যাডফোর্ড নীলের দ্বারা:

আমি সর্বাধিক এবং অন্যান্য পদ্ধতির মধ্যে কোন তুলনা সম্পর্কে অবগত নই: সমস্যার অংশটি মনে হচ্ছে যে সর্বাধিক সত্যই কোনও কাঠামো নয়, তবে একটি দ্ব্যর্থহীন নির্দেশিকা ("যখন কোনও অজানাটির মুখোমুখি হন, কেবলমাত্র এনট্রপিটি সর্বাধিকতর করুন") যা হ'ল বিভিন্ন ব্যক্তি দ্বারা বিভিন্নভাবে ব্যাখ্যা করা।


4
(+1) সেই 2002 থ্রেডটি ধারণাগুলির বিনিময়ের একটি নরক।
whuber

1
নোট করুন যে সম্ভাবনা থিওরিতে এডউইন জেইনস প্রদত্ত সর্বাধিকের "ওয়ালিস ডেরাইভেশন": লজিক অফ সায়েন্স এন্ট্রপিকে সর্বাধিকীকরণের জন্য "পরীক্ষামূলক" যুক্তি দেয়। স্বতন্ত্র বিতরণগুলিতে, যদি আমরা উদাসীনতার নীতি (পিআইডি) থেকে শুরু করি, এবং তারপর মূলত সম্ভাব্যতার উপর প্রত্যাখ্যানের নমুনা প্রদর্শন করি, তবে এলোমেলো ইউনিফর্ম নমুনাগুলি গ্রহণ বা প্রত্যাখ্যানের সীমাবদ্ধতাগুলি ব্যবহার করে। ফলস্বরূপ সম্ভাবনাটি তখন নির্বিচারে (বিযুক্ত) সর্বাধিক বিতরণের কাছাকাছি।
সম্ভাব্যতাসংক্রান্ত

3

এটি সত্য যে অতীতে ম্যাক্সেন্ট এবং বেয়েস বিভিন্ন ধরণের বা তথ্যের ফর্মগুলি নিয়ে কাজ করেছিল। আমি বলব যে বেইস সম্ভাব্যতার পাশাপাশি "শক্ত" বাধা ব্যবহার করে।

যাই হোক না কেন, এটি আর কোনও সমস্যা নয় কারণ বেইস রুল (পণ্যের নিয়ম নয়) সর্বাধিক আপেক্ষিক এন্ট্রপি (মিঃ) থেকে প্রাপ্ত করা যেতে পারে, অস্পষ্টভাবে নয়:

এটি একটি নতুন বিশ্বের ...

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.