কোন অবস্থার অধীনে বায়েশিয়ান এবং ঘন ঘন পয়েন্টের অনুমানকারী একত্রিত হয়?

Question

ফ্ল্যাট পূর্বের সাথে, এমএল (ঘন ঘনবাদী - সর্বাধিক সম্ভাবনা) এবং এমএপি (বায়েসিয়ান - সর্বাধিক একটি পোস্টেরিয়েরি) অনুমানের সাথে মিলে যায়।

আরও সাধারণভাবে, তবে আমি কিছু ক্ষতি ফাংশনের অপটিমাইজার হিসাবে প্রাপ্ত পয়েন্ট আনুমানিক সম্পর্কে কথা বলছি। অর্থাত

(Bayesian)  এক্স

$$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) }$$ $$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)}$$

যেখানে $\mathbb{E}$ প্রত্যাশা অপারেটর হয়, $L$ ক্ষতি ফাংশন (শূন্য এ কমিয়ে হয় এক্স ( Y $\hat x(y)$ হয় মূল্নির্ধারক, ডাটা দেওয়া $y$ এর প্যারামিটার হয়, $x$ , এবং র্যান্ডম ভেরিয়েবল বড়হাতের অক্ষর সঙ্গে প্রকাশ করা হয়।

কেহ কোন অবস্থার কি জানে $L$ , এর পিডিএফ $x$ এবং $y$ , রৈখিকতা এবং / অথবা unbiasedness, যেখানে estimators কাকতালীয়ভাবে হবে আরোপিত?

সম্পাদন করা

মন্তব্যে উল্লিখিত হিসাবে, নিরপেক্ষতার মতো একটি নিরপেক্ষতা প্রয়োজন ফ্রিকোয়েনসিস্ট সমস্যাটিকে অর্থবহ করে তুলতে। ফ্ল্যাট প্রিয়ারগুলিও একটি সাধারণতা হতে পারে।

কিছু উত্তর দ্বারা প্রদত্ত সাধারণ আলোচনা ছাড়াও, প্রশ্নটি আসল উদাহরণ প্রদানের ক্ষেত্রেও সত্য । আমি মনে করি একটি গুরুত্বপূর্ণ এক লিনিয়ার রিগ্রেশন থেকে আসে:

• OLS ঔজ্জ্বল্যের নীল (হয় গাউস-মার্কভ উপপাদ্য ), অর্থাৎ এটা রৈখিক-নিরপেক্ষ estimators মধ্যে frequentist MSE ছোট।$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$
• যদি গসিয়ান এবং পূর্বে ফ্ল্যাট হল এক্স = ( ডি ' ডি ) - 1 ডি ' Y হল "অবর" গড় ছোট কোনো উত্তল ক্ষতি ফাংশন জন্য Bayesian গড় ক্ষতির।$(X,Y)$$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$

এখানে, ক্রমবর্ধমান / বেয়েসিয়ান লিঙ্গো যথাক্রমে ডেটা / ডিজাইন ম্যাট্রিক্স হিসাবে পরিচিত বলে মনে হয়।$\mathbf{D}$

Comments

আমি ধরে নিলাম যে আপনি আগে ফ্ল্যাট ধরে উত্তর চান? অন্যথায় অবশ্যই কোনও উপায় নেই যে আকর্ষণীয় সাধারণ ক্ষেত্রে অনুমানগুলি একই রকম হতে পারে বলে আশা করা যায়।

— ব্যবহারকারী 586834

আপনি যে সাধারণভাবে এটি প্রকাশ করেছেন তাতে উত্তর দেওয়া কোনও সাধারণ প্রশ্ন নয়, তবে বর্তমানে এটি একটি তাত্পর্যপূর্ণ গবেষণা বিষয়, উদাহরণস্বরূপ দেখুন এই অঞ্চলে জুডিথ রুশোর কাজ: ceremade.dauphine.fr/~rousseau/publi.html

— জেরেমিয়াস কে

@ জেরেমিয়াস্ক, সম্ভবত আপনি একটি উত্তরে সে সম্পর্কে কিছু ব্যাখ্যা করতে পারেন?

— ব্যবহারকারীর 56834

@ প্রোগ্রামার 2134 আমি যদি সামগ্রীতে যথেষ্ট স্বাচ্ছন্দ্য বোধ করি তবে আমি তা করব না। আমি জানি যে তারা কিছু করে একটি সিএলটি-র একটি বয়েসিয়ান অংশকে ডুবিয়েছে, নির্দিষ্ট 'পশ্চাতকেন্দ্রিক ঘনত্বের হারগুলি' সহ যা আপনাকে জানায় যে নমুনার আকার বাড়ানোর সাথে সাথে প্যারামিটার পোস্টেরিয়ারটি আপনার প্যারামিটার স্পেসের একটি বিন্দুতে কতটা মনোনিবেশ করে এবং তারপরে আপনি মূলত শেষ করেন আপনার বায়েশিয়ান অনুমানকারীগুলির জন্য ঘন ঘন ধরণের ধরণের সামঞ্জস্যতার গ্যারান্টি সন্ধান করা।

— জেরেমিয়াস কে

Answer 1

প্রশ্নটি আকর্ষণীয় তবে কিছুটা আশাহীন যদি না ঘন ঘনবাদী অনুমানের ধারণাটি সুনির্দিষ্ট না করা হয়। এটা স্পষ্টভাবে প্রশ্ন এক সেট নয় এক্স ( কম উত্তর যেহেতু হয় এক্স ( Y ) = x এর জন্য সব Y 'থেকে সরু আউট হিসাবে গুলিProgrammer2134 এর উত্তর। মৌলিক সমস্যাটি হ'ল অনুমানের সমস্যার জন্য পরিপূরক সীমাবদ্ধতা বা অনুমানকারীগুলির শ্রেণি প্রবর্তন না করে কোনও অনুমানের সমস্যার জন্য কোনও একক ঘনত্বে অনুমানকারী নেই। সেগুলি ব্যতীত সমস্ত বেইস অনুমানকারীও ঘন ঘন অনুমানকারী।

$$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x,\hat x(Y)) \; | \; x \right)$$ $\hat{x}(y)=x$$y$

মন্তব্যে উল্লেখ করা হয়েছে যে, নিরপেক্ষতা এ জাতীয় বাধা হতে পারে , সেক্ষেত্রে বেয়েস অনুমানকারীদের বাদ দেওয়া হয়েছে। তবে এই ঘনত্ববাদী ধারণাটি অন্যান্য ঘনত্ববাদী ধারণার সাথে সংঘর্ষ হয়

1. গ্রহণযোগ্যতা, যেহেতু জেমস-স্টেইন ঘটনাটি প্রমাণ করেছে যে নিরপেক্ষ অনুমানকরা অগ্রহণযোগ্য হতে পারে (ক্ষতির কার্যকারিতা এবং সমস্যার মাত্রার উপর নির্ভর করে);
2. পুনঃনির্মাণের অধীনে আগ্রাসন, যেহেতু নিরপেক্ষতা রূপান্তরগুলির অধীনে থাকে না।

প্লাস নিরপেক্ষতা কেবলমাত্র অনুমিত সমস্যাগুলির একটি সীমাবদ্ধ শ্রেণীর ক্ষেত্রে প্রযোজ্য। এর মাধ্যমে, আমি বলতে চাইছি একটি নির্দিষ্ট প্যারামিটার বা ট্রান্সফর্ম এইচ ( θ ) এর পক্ষপাতহীন অনুমানের শ্রেণি বেশিরভাগ সময় খালি।$\theta$$h(\theta)$

সম্মতিযোগ্যতার কথা বলা, অন্য একটি ঘন ঘন ধারণা, এমন কিছু সেটিংস বিদ্যমান যার জন্য কেবলমাত্র অনুমোদিত অনুমানকারীগুলি বেইস অনুমানক এবং বিপরীতভাবে। এই ধরণের সেটিংস 1950-এর দশকে আব্রাহাম ওয়াল্ড প্রতিষ্ঠিত সম্পূর্ণ শ্রেণির উপপাদ্যের সাথে সম্পর্কিত। (একই উপযুক্ত হানাদার পরিমাপের অধীনে বেয়েস হ'ল সর্বোত্তম আক্রমণকারী অনুমানকারীদের ক্ষেত্রেও এটি প্রযোজ্য))

Comments

বায়সীয়দের আরও নিকটবর্তী, যা ন্যূনতম সমস্যাটি সঠিকভাবে সংজ্ঞায়িত হয়েছে এবং অবক্ষয়হীন নয় (নিরপেক্ষতা প্রয়োজন ছাড়া অন্যটি) যাতে অনুমানকারীদের বর্গকে সীমাবদ্ধ করার অন্যান্য প্রচলিত উপায় আছে?

— ব্যবহারকারীর 686834

Answer 2

সাধারণভাবে, ঘনঘনবাদী এবং বায়েশিয়ান অনুমানকারীগুলির সাথে মিলে যায় না, যদি না আপনি আগে ডিজেনারেট ফ্ল্যাট ব্যবহার করেন। মূল কারণ হ'ল: ঘন ঘন অনুমানকারীরা প্রায়শই নিরপেক্ষ থাকার চেষ্টা করে। উদাহরণস্বরূপ, ঘন ঘন বিশেষজ্ঞরা প্রায়শই সর্বনিম্ন বৈকল্পিক নিরপেক্ষ অনুমানক ( http://en.wikedia.org/wiki/Minimum-variance_unbiased_estimator ) সন্ধান করার চেষ্টা করেন। এদিকে, সমস্ত অবনমিত বায়েস অনুমানকারী পক্ষপাতদুষ্ট (ঘন ঘন পক্ষপাতের ধারায়)। উদাহরণস্বরূপ, http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , উপপাদ্য 5 দেখুন।

সংক্ষিপ্তসার হিসাবে: বেশিরভাগ জনপ্রিয় ঘনত্ববাদী অনুমানকারী পক্ষপাতহীন হওয়ার চেষ্টা করে, অন্যদিকে সমস্ত বেইস অনুমানক পক্ষপাতদুষ্ট। সুতরাং, বেয়েস এবং ঘন ঘন অনুমানক খুব কমই মিলে যায়।

Comments

আমি এই বক্তব্যগুলির যথাযথতা সম্পর্কে অবাক হয়েছি, প্রদত্ত যে "বেশিরভাগ জনপ্রিয় ঘন ঘন অনুমানকারী" এমএল এবং তারা পক্ষপাতদুষ্ট হয়ে থাকে (পরামিতিগুলির উপর নির্ভর করে)। তদ্ব্যতীত, একটি ভাল ঘন ঘন ঘন ঘন ঘন ক্ষতি এবং গ্রহণযোগ্যতা সম্পর্কে গভীরভাবে উদ্বিগ্ন; এই তত্ত্বের একটি মূল অংশটি স্বীকৃত যে গ্রহণযোগ্য পদ্ধতিগুলি বেইস পদ্ধতি থেকে আসে, কোথা থেকে - অন্তত সেই বিস্তৃত অর্থে - ঘন ঘন তত্ত্বের খুব হৃদয় বেইস অনুমানকারীদের উপর নির্ভর করে! আমি যদি আপনার "প্রায়শই", "বেশিরভাগ" এবং "খুব কমই" সম্পর্কে পরিষ্কার হতে পারি এবং প্রমাণ সহ সেটিকে ব্যাক আপ করতে পারি তবে আপনার দৃষ্টিভঙ্গিতে আমি রাজি হতে পারি।

— whuber

@ শুভ বক্তব্য - আমার উত্তর সম্ভবত কিছুটা সরল ছিল। প্রকৃত ঘনত্ববাদীরা পক্ষপাতদুষ্ট পদ্ধতি ব্যবহার করে (যেমন এল 1 বা এল 2 শাস্তিযুক্ত দমন), বা এমনকি আনুষ্ঠানিকভাবে বায়েশিয়ান পদ্ধতি ব্যবহার করতে পারে। তবে আমি মনে করি নিরপেক্ষ অনুমানকরা বেশিরভাগ ঘন ঘন বিশ্লেষক বিশ্লেষণের সূচনা পয়েন্ট। উদাহরণস্বরূপ, লেহম্যান অ্যান্ড ক্যাসেলা কর্তৃক থিওরি অফ পয়েন্ট অনুমানের প্রথম মাংসপূর্ণ অধ্যায়টি (ঘনঘনবাদী অনুমানের মানক গ্রন্থগুলির মধ্যে একটি) নিরপেক্ষতা সম্পর্কে।

— স্টিফান বাজির

ঠিক আছে, ঠিক আছে (+1)। তবে আমি আপনার শেষ যুক্তিকে আকর্ষণীয় মনে করি: সর্বোপরি, কোনও বই কোথাও শুরু করতে হবে এবং সাধারণত যে প্রারম্ভিক বিন্দুটি তার ব্যবহারিক গুরুত্বের জন্য নয় তার সরলতা এবং অ্যাক্সেসযোগ্যতার জন্য বেছে নেওয়া হয়। একই যুক্তি দ্বারা আপনি দাবি করতে পারেন যে বেশিরভাগ আধুনিক গণিত মূলত যুক্তি এবং সেট তত্ত্বের সাথে সম্পর্কিত, কারণ এগুলি প্রায়শই অনেক গণিতের পাঠ্যপুস্তকের প্রথম অধ্যায় তৈরি করে! পরিসংখ্যান অনুশীলনের আরও ভাল প্রতিফলন লেহম্যান ও কেসেলার শেষার্ধ বা এর শেষ হতে পারে - সেখানে কী আলোচনা হয়েছে তা একবার দেখুন :-)।

— whuber

"যদি না আপনি ডিজেনরেট ফ্ল্যাট আগে ব্যবহার করেন"। আচ্ছা এটি সম্পর্কে একটি আকর্ষণীয় বিশেষ ঘটনা, তাই না?

— user56834

এছাড়াও, তাঁর প্রশ্নটি রয়েছে যে তারা তাত্ত্বিকভাবে কিছু শর্তের সাথে মিলিত হবে কিনা, অনুশীলনে যে অনুমানগুলি ব্যবহার করা হয় তা মিলছে কিনা।

— user56834

Answer 3

এই সম্পূর্ণ উত্তর নয়, কিন্তু যখন এই দুটি এর বর্ণন অনুরূপ, তারা একটি ভাবে মৌলিকভাবে ভিন্ন: Bayesian এক ছোট একটি একক মান সম্মান সঙ্গে অভিব্যক্তি (যে মান এক্স ( $\text{argmin}$ , y এর উপর নির্ভর করে)।$\hat x(y)$$y$

কিন্তু Frequentist প্রতি মূল্য যে জন্য একটি একক মান সম্মান সঙ্গে লোকসান ফাংশন কমানোর জন্য রয়েছে জেনে নিতে পারে এক্স । এর কারণ হল ফাংশনের সর্বনিম্ন চ ( এক্স , এক্স ) = ই ( এল ( এক্স - এক্স ( ওয়াই ) ) | এক্স ) উপর নির্ভর করে এক্স , যদিও আমরা জেনে এটাকে কমানোর জন্য আছে এক্স । (নোট যে যদি আমরা কেবল কমান যাবে চ ( এক্স , এক্স$x$$x$$f(x,\hat x)=E(L(x-\hat x(Y))|x)$$x$$x$$f(x, \hat x)$ wrt এক্স$\hat x$ , কেবলমাত্র আমরা এর ছোট করা মান পেতে হবে এক্স = এক্স ।) Frequentist সমস্যা তাই undefined করা হয়। এটিকে সু-সংজ্ঞায়িত করা এমনকি সম্ভব কিনা তা আমি নিশ্চিত নই।$\hat x = x$

Comments

ভাল দিক. আমি মনে করি আপনি ঘন ঘন সমস্যা সম্পর্কে সঠিক right এটিকে ভালভাবে পোষ্ট করার উপায় হ'ল অনুমানকারীদের শ্রেণি সীমাবদ্ধ করা। লেহম্যান ও কেসেলা থেকে: "এখনও অবধি, আমরা অনুমানকারীদের সন্ধানের সাথে উদ্বিগ্ন যা R এর প্রতিটি মূল্যে ঝুঁকি আর (every, δ) হ্রাস করে θ এটি কেবলমাত্র নিরপেক্ষতার প্রয়োজনীয়তার দ্বারা বিবেচনা করার জন্য অনুমানকারীদের শ্রেণিকে সীমাবদ্ধ করেই সম্ভব হয়েছিল such পক্ষপাতহীনতা বা সমতা হিসাবে। "

— প্যাট্রিক

Answer 4

এই প্রশ্নের কোনও উত্তর থাকতে পারে।

একটি বিকল্প হ'ল যে কোনও সমস্যার জন্য দক্ষতার সাথে দুটি অনুমান নির্ধারণের জন্য পদ্ধতিগুলির জন্য জিজ্ঞাসা করা যেতে পারে। বায়েশিয়ান পদ্ধতিগুলি এই আদর্শের খুব কাছে। তবে, ঘনত্ববাদী বিন্দু অনুমানটি নির্ধারণের জন্য মিনিম্যাক্স পদ্ধতি ব্যবহার করা যেতে পারে, সাধারণভাবে, মিনিম্যাক্স পদ্ধতির প্রয়োগটি এখনও কঠিন থেকে যায়, এবং অনুশীলনে ব্যবহার করা হয় না।

অন্য বিকল্প হ'ল বায়েশিয়ান এবং ঘন ঘন অনুমানকারীরা "সামঞ্জস্যপূর্ণ" ফলাফলগুলি সরবরাহ করে এবং সেই অনুমানকারীদের দক্ষতার সাথে গণনা করার জন্য পদ্ধতিগুলি সনাক্ত করার চেষ্টা করে সেই অবস্থার বিষয়ে প্রশ্নটি পুনরায় প্রকাশ করা। এখানে "সামঞ্জস্যপূর্ণ" বোঝাতে নেওয়া হয়েছে যে বায়সিয়ান এবং ঘন ঘনবাদী অনুমানকারীগুলি একটি সাধারণ তত্ত্ব থেকে উদ্ভূত হয় এবং উভয় অনুমানকারীদের জন্য অনুকূলতার একই মাপদণ্ড ব্যবহার করা হয়। এটি বায়েশিয়ান এবং ঘন ঘনবাদী পরিসংখ্যানের বিরোধিতা করার চেষ্টা থেকে খুব আলাদা এবং উপরের প্রশ্নটি অতিমাত্রায় উপস্থাপন করতে পারে। একটি সম্ভাব্য পদ্ধতির লক্ষ্য হ'ল ঘন ঘন ঘন মামলা এবং বায়েশিয়ান ক্ষেত্রে উভয় ক্ষেত্রেই সিদ্ধান্ত সেট করে যে প্রদত্ত আকারের ক্ষতির পরিমাণ হ্রাস করে, যেমন প্রস্তাবিত

শ্যাফার, চাদ এম, এবং ফিলিপ বি স্টার্ক। "সর্বোত্তম প্রত্যাশিত আকারের আত্মবিশ্বাসের অঞ্চলগুলি তৈরি করা।" আমেরিকান স্ট্যাটিস্টিকাল অ্যাসোসিয়েশনের জার্নাল 104.487 (২০০৯): 1080-1089।

দেখা যাচ্ছে যে এটি সম্ভব - ঘন ঘন ঘনবাদী এবং বায়েশিয়ান ক্ষেত্রে উভয়ই - বৃহত্তর পয়েন্টওয়াইজ পারস্পরিক তথ্যের সাথে অগ্রাধিকার পর্যবেক্ষণ এবং পরামিতিগুলি অন্তর্ভুক্ত করে। সিদ্ধান্তের সেটগুলি অভিন্ন হবে না, যেহেতু জিজ্ঞাসা করা প্রশ্নটি আলাদা is

• প্রকৃত প্যারামিটারটি থেকে আলাদা, ভুল সিদ্ধান্ত নেওয়ার ঝুঁকি সীমাবদ্ধ করুন (ঘনঘনবাদী দৃষ্টিভঙ্গি)
• কিছু পর্যবেক্ষণ দেওয়া হয়েছে, সিদ্ধান্ত সেটের মধ্যে ভুল পরামিতি অন্তর্ভুক্ত করার ঝুঁকি সীমাবদ্ধ করুন (বায়েসিয়ান ভিউ)

তবে ফ্ল্যাট প্রিয়ার ব্যবহার করা থাকলে সেটগুলি বেশিরভাগ ক্ষেত্রে ওভারল্যাপ হয়ে যাবে এবং কিছু পরিস্থিতিতে অভিন্ন হয়ে উঠবে। একটি দক্ষ প্রতিবন্ধীকরণের সাথে আইডিয়াটি আরও বিশদে আলোচনা করা হয়েছে

বার্টেলস, খ্রিস্টান (2015): জেনেরিক এবং ধারাবাহিক আত্মবিশ্বাস এবং বিশ্বাসযোগ্য অঞ্চল। figshare। https://doi.org/10.6084/m9.figshare.1528163

তথ্যবহুল প্রিরিয়ারদের জন্য সিদ্ধান্তটি আরও বিচ্যুতি নির্ধারণ করে (যেমনটি সাধারণত জানা যায় এবং প্রশ্নে এবং উপরের উত্তরে চিহ্নিত করা হয়েছিল)। তবে সামঞ্জস্যপূর্ণ কাঠামোর মধ্যে, একটি ঘন ঘন পরীক্ষার্থী গ্রহণ করে যা পছন্দসই ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘন ঘনত্বের কভারেজের গ্যারান্টি দেয় তবে পূর্বের জ্ঞানের বিষয়টি বিবেচনায় রাখে।

বারটেলস, খ্রিস্টান (2017): ঘন ঘন পরীক্ষাগুলিতে পূর্ববর্তী জ্ঞান ব্যবহার করা। figshare। https://doi.org/10.6084/m9.figshare.4819597

প্রস্তাবিত পদ্ধতিগুলিতে এখনও মার্জিনাইজেশনের কার্যকর প্রয়োগের অভাব রয়েছে।

Comments

Could you elaborate in your question more specifically when they would be "consistent"?

— user56834

@Programmer2134. Thanks, tried to clarify in the answer.

— user36160