ঘনঘনবাদী পরিসংখ্যানগুলিতে অন্তর্নিহিত প্রিয়াররা কী / হয়?

Question

আমি এই ধারণাটি শুনেছি যে জেনেস দাবি করেন যে ঘন ঘনবাদীরা "অন্তর্নিহিত পূর্ব" দিয়ে কাজ করে।

এই অন্তর্নিহিত প্রিয়াররা কি বা হয়? এর অর্থ কি ঘন ঘন মডেলগুলি বায়েশিয়ান মডেলগুলির সন্ধানের অপেক্ষায় রয়েছে?

Comments

অন্তর্নিহিত পূর্বে অধ: পতিত বন্টন যে রাখে সমগ্র সম্ভাব্যতা ভর হয় , প্যারামিটার যে Bayesian frequentist TI অনুমান চেষ্টা করছে। $\theta$

— দিলীপ সরোতে

আমি যতদূর জানি, কোনও ঘন ঘনবাদী বা বায়সিয়ান মডেল নেই, কেবল তাদের কাছে মডেল এবং বিভিন্ন পন্থা রয়েছে।

— আন্দ্রে কোলিয়াডিন

@ দিলিপ সরওয়াতে: আমি এই বক্তব্যের সাথে একমত নই। একটি ডায়ারাক ভরকে অগ্রাধিকার হিসাবে ব্যবহার করা ঘন ঘন পদ্ধতিগুলি প্ররোচিত করে না। এবং বায়সীয় দৃষ্টান্ত অজানা প্যারামিটার সহ প্রিয়ারদের অনুমতি দেয় না, কেবলমাত্র সেই পরামিতিগুলির উপর অন্য কোনও পূর্ব নির্ধারণ করার পরে।

— শি'আন

যাই হোক না কেন সবসময়ই একটি পূর্ব থাকে। দুর্ভাগ্যক্রমে সমস্ত পরিসংখ্যান পদ্ধতির জন্য একটি অ্যাড-হক শুরুর পয়েন্ট প্রয়োজন যা তাদেরকে খুব স্বেচ্ছাসেবী করে তোলে। ভাল জিনিসটিকে যথেষ্ট পরিমাণে ডেটা এবং সঠিক পদ্ধতি দেওয়া হয় যা আপনি নিজের গন্তব্যটির কাছাকাছি চলে যান। খারাপ জিনিসটি হল আপনি গন্তব্য থেকে কতটা শেষ করবেন আপনি কোথায় শুরু করবেন এবং কতটা ডেটা আপনার হাতে রয়েছে তার উপর নির্ভর করে।

— ক্যাগডাস ওজজেনেক

@ ক্যাগডাস ওজজেঙ্ক: না, সবসময় অনুমান থাকে তবে তাদের পূর্বের বিতরণের রূপ নেওয়ার দরকার নেই।

— কেজেটিল বি হালওয়ারসেন

Answer 1

ঘনতান্ত্রিক সিদ্ধান্ত তত্ত্বে, সম্পূর্ণ শ্রেণীর ফলাফল বিদ্যমান যা গ্রহণযোগ্য পদ্ধতিগুলি বেয়েস পদ্ধতি বা বেইস পদ্ধতির সীমা হিসাবে চিহ্নিত করে। উদাহরণস্বরূপ, স্টেইন প্রয়োজনীয় এবং পর্যাপ্ত শর্ত (স্টেইন। ১৯৫৫; ফারেল, ১৯68৮ বি) বলেছেন যে নিম্নলিখিত অনুমানের অধীনে

1. স্যাম্পলিং ঘনত্ব মধ্যে ক্রমাগত হয় এবং এর কঠোরভাবে ইতিবাচক ; এবংθ $f(x|\theta)$$\theta$$\Theta$
2. ক্ষতি ফাংশন কঠোরভাবে উত্তল, অবিচ্ছিন্ন এবং, যদি হয় কমপ্যাক্ট,$L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

একটি অনুমানকারী যদি গ্রহণযোগ্য হয়, এবং যদি কেবল সেখানে থাকে তবে$\delta$

• ক্রমবর্ধমান কমপ্যাক্টের একটি সিক্যুয়েন্স সেট করে যে ,$(F_n)$$\Theta=\bigcup_n F_n$
• সমর্থন সহ সীমাবদ্ধ ব্যবস্থার একটি অনুক্রম , এবং$(\pi_n)$$F_n$

• একটি ক্রম সঙ্গে যুক্ত বায়েসের estimators এর যেমন যে$(\delta_n)$$\pi_n$

  1. একটি কমপ্যাক্ট সেট রয়েছে যেমন$E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. যদি কমপ্যাক্ট হয়,$E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ এবং
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ ।

[আমার বই, বয়েসিয়ান চয়েস , উপপাদ্য 8.3.0, পৃষ্ঠা 407 থেকে পুনরুত্পাদন]

এই সীমাবদ্ধ অর্থে, গ্রহণযোগ্যতার ঘন ঘন সম্পত্তিটি একটি বায়েশিয়ান পটভূমিতে সমৃদ্ধ, সুতরাং প্রতিটি স্বীকৃত অনুমানকারীটির সাথে একটি অন্তর্নিহিত পূর্ব (বা এর ক্রম) যুক্ত করে ating

সিডিনোট: একটি দুঃখের বিষয়, চার্লস স্টেইন 25 নভেম্বর ক্যালিফোর্নিয়ার পালো অল্টোতে ইন্তেকাল করেছেন। তাঁর বয়স ছিল 96।

পরিবর্তিত বা equivariant প্রাক্কলন জন্য একটি অনুরূপ (গাণিতিকভাবে জড়িত হলে) ফলাফলের নেই, যথা যে শ্রেষ্ঠ equivariant মূল্নির্ধারক প্রত্যেক সকর্মক গ্রুপ একটি পরিসংখ্যানগত মডেল অভিনয়, ডান Haar পরিমাপ সঙ্গে যুক্ত একটি বায়েসের মূল্নির্ধারক হয় , প্ররোচক উপর এই দলের দ্বারা এবং সংশ্লিষ্ট পরিবর্তিত ক্ষতি। জড়িত বিশদগুলির জন্য পিটম্যান (1939), স্টেইন (1964), বা জিডেক (1969) দেখুন। খুব সম্ভবত এটি কি Jaynes মনের মধ্যে ছিল, তিনি রেজল্যুশন সম্পর্কে জোরপূর্বক যুক্তি প্রান্তিকীকরণ কূটাভাস invariance নীতির দ্বারা ।$\pi^*$$\Theta$

তদ্ব্যতীত, সিভ্যাস্ট্যাট উত্তরে যেমন বর্ণনা করা হয়েছে, অনুকূলতার আরেকটি ঘনত্ববাদী ধারণা, যা ক্ষুদ্রাক্রমে হয়, এছাড়াও বায়েশিয়ান পদ্ধতিগুলির সাথে সংযুক্ত থাকে যে মিনিম্যাক্স পদ্ধতিটি সর্বাধিক ত্রুটি (প্যারামিটার স্পেসের ওপরে) হ্রাস করে এমন সংক্ষিপ্ততর প্রক্রিয়া হয় যা সর্বনিম্ন ত্রুটিকে সর্বাধিক করে তোলে ( সমস্ত পূর্ববর্তী বিতরণের উপরে), সুতরাং বেইস বা বেইস পদ্ধতি (গুলি) এর সীমা।

প্রশ্ন: আমি আমার বয়েসিয়ান অন্তর্দৃষ্টি ঘন ঘন ঘন মডেলগুলিতে স্থানান্তর করতে ব্যবহার করতে পারি কি একটি পিতি গ্রহণযোগ্য?

প্রথমে আমি শব্দ "frequentist মডেল" ব্যবহার এড়িয়ে করবে সেখানে স্যাম্পলিং মডেল আছে (ডাটা একটি আদায় হয় একটি প্যারামিটার মান )$x$$X\sim f(x|\theta)$$\theta$ এবং frequentist পদ্ধতি (সেরা পক্ষপাতিত্বহীন মূল্নির্ধারক, সর্বনিম্ন বৈকল্পিক আত্মবিশ্বাসের ব্যবধান, এবং টিসি।)দ্বিতীয়ত, ঘনত্ববাদী পদ্ধতিগুলি সীমান্তরেখা হিসাবে বিবেচনা করার জন্য বা বায়েশিয়ার পদ্ধতিগুলিকে সীমাবদ্ধ করার জন্য আমি কোন বাধ্যতামূলক পদ্ধতিগত বা তাত্ত্বিক কারণ দেখতে পাই না। একটি ঘনত্ববাদী পদ্ধতির ন্যায্যতা, যখন এটি উপস্থিত থাকে, তা হল নমুনা করার জায়গাতে কিছু অনুকূল সম্পত্তি সন্তুষ্ট করা, এটি পর্যবেক্ষণগুলি পুনরাবৃত্তি করার সময়। নমুনা মডেল থেকে পূর্বের বিতরণ এবং একটি উপলব্ধির ভিত্তিতে বায়েসীয় পদ্ধতিগুলির প্রাথমিক যুক্তিটি সর্বোত্তম [নির্দিষ্ট মানদণ্ড বা ক্ষতি ফাংশনের অধীনে] হওয়া উচিত। কখনও কখনও, ফলস্বরূপ পদ্ধতিটি কিছু ঘন ঘন সম্পত্তিকে সন্তুষ্ট করে ( % বিশ্বাসযোগ্য অঞ্চলটি একটি % আত্মবিশ্বাসের অঞ্চল)$95$$95$ , তবে এটি এমন ঘটনা যেখানে বেটিসীয় মডেলের সাথে সম্পর্কিত সমস্ত পদ্ধতিতে এই অনুকূলতা স্থানান্তর করে না।

Comments

অনেক ধন্যবাদ. একজন নবজাতক হিসাবে, আমার বয়েসিয়ান অন্তর্দৃষ্টিটি ঘন ঘন ঘনত্বেতাবাদী মডেলগুলিতে স্থানান্তর করতে আমি কি কোনও পীথি গ্রহণ করতে পারি? উদাহরণস্বরূপ (এই জিএলএম y এর আগে x এর সাথে সমান, বা এই লাসোটি বায়সিয়ান xyz এর মতো)।

— বয়েস্কোয়েস্ট

এছাড়াও, আপনি কি আমার অন্যান্য প্রশ্নটি এখানে একবার খেয়াল করতে মন চান: stats.stackexchange.com/questions/247850/… আমি জানি আপনি বায়সিয়ান ব্রেক্টনেস ইস্যুতে কিছু সমাধানের প্রস্তাব দিয়েছেন ... তবে আমার মনে হয় সমাধানগুলি শক্তিশালী নয় are বা একজন সামাজিক বিজ্ঞানীর পক্ষে চালিত করা সহজ।

— বয়েস্কুয়েস্ট

প্রথম মন্তব্যের জন্য, আমি যে বিষয়ে কথা বলছিলাম তার কয়েকটি উদাহরণ এখানে দেওয়া হল: - নিউরাল নেট ও জিপি - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/… - [একটি ননপ্রেমেট্রিক বায়েশিয়ান (এনপিবি) পয়েন্ট অফ ভিউ গাছের উপরের অংশের উত্তর থেকে নমুনা হিসাবে বনাঞ্চলের ব্যাখ্যার অনুমতি দেয়] ( arxiv.org/pdf/1502.02312.pdf )

— বায়স্কুয়েস্ট

আমরা এলোমেলো বনাঞ্চলের সাথে আনুমানিক বায়েশিয়ান ইনফারেন্সনে কাজ করেছি এবং দেখেছি যে সেই সরঞ্জামটির ফলে পরিবর্তিত পরিবর্তনটি মূল উত্তরোত্তর সাথে সম্পর্কিত নয়। অবশ্যই, এর অর্থ এই নয় যে এটি কোনও বায়েশিয়ান ব্যাখ্যার অনুমতি দেয় না তবুও ...

— শি'য়ান

Answer 2

@ শি'ানের উত্তর আরও সম্পূর্ণ। তবে যেহেতু আপনিও এক পিথী ছাড়ার জন্য বলেছেন, তাই এখানে। (আমি যে ধারণাগুলির উল্লেখ করেছি সেগুলি উপরোক্ত অনুমোদনের সেটিংয়ের মতো নয়))

ঘনঘন বিশেষজ্ঞরা প্রায়শই (তবে সর্বদা নয়) অনুমানকারীগুলি "মিনিম্যাক্স" ব্যবহার করতে পছন্দ করেন: যদি আমি অনুমান করতে চাই তবে আমার অনুমানকারী সবচেয়ে খারাপ ক্ষেত্রে ঝুঁকি অন্য যে কোনও অনুমানকারকের সবচেয়ে খারাপ-ঝুঁকির চেয়ে ভাল হওয়া উচিত should । দেখা যাচ্ছে যে এমএলইগুলি প্রায়শই (প্রায়) মিনিম্যাক্স থাকে। বিশদটি দেখুন যেমন এখানে বা এখানে ।$\theta$$\hat{\theta}$

কোনও সমস্যার মিনিম্যাক্স অনুমানকারী খুঁজতে, একটি উপায় হ'ল বায়েশিয়ানকে এক মুহুর্তের জন্য ভাবা এবং "স্বল্পতম অনুকূল পূর্ব" । এটি এমন পূর্ববর্তী যাঁর বায়েসের প্রাক্কলনকারীকে অন্য পূর্বের বেইস অনুমানের তুলনায় উচ্চতর ঝুঁকি রয়েছে। যদি আপনি এটি সন্ধান করতে পারেন তবে তা দেখা যায় যে এর বয়েস অনুমানকটি মিনিমেক্স$\pi$$\pi$

এই অর্থে, আপনি করুণভাবে বলতে পারেন: এ (মিনিম্যাক্স ব্যবহার করে) ফ্রুসিডনিস্ট একজন বায়েশিয়ানের মতো যিনি কমপক্ষে-অনুকূল পূর্বে বেছে নিয়েছিলেন (পয়েন্ট আনুমানিক ভিত্তিতে) বেছে নিয়েছিলেন।

সম্ভবত আপনি এই কথাটি প্রসারিত করতে পারেন: এই জাতীয় ফ্রিকোয়ালিস্ট একজন রক্ষণশীল বায়েশিয়ান, তিনি ব্যক্তিগত প্রিয়ার বা এমনকি অপরিণামদর্শী প্রিয়ারকেই পছন্দ করেন না (এই নির্দিষ্ট অর্থে) সবচেয়ে খারাপ ক্ষেত্রে প্রবীণদের।

অবশেষে, অন্যরা যেমন বলেছে, ফ্রিকোয়েন্সিস্ট এবং বায়েশিয়ানদের এইভাবে তুলনা করা এক প্রসারিত বিষয়। ফ্রিকোয়েন্সিস্ট হওয়ার কারণে আপনি একটি নির্দিষ্ট অনুমানকারী ব্যবহার করা আবশ্যক নয় । এর অর্থ হ'ল আপনি নিজের অনুমানের নমুনা সম্পর্কিত বৈশিষ্ট্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করছেন , যদিও এই প্রশ্নগুলি কোনও বায়শিয়ান শীর্ষস্থানীয় অগ্রাধিকার নয়। (সুতরাং যে কোনও বায়েসিয়ান যিনি ভাল নমুনা বৈশিষ্ট্যের জন্য আশা করেন, যেমন "ক্যালিব্রেটেড বেয়েস" , তিনিও একটি ফ্রিকোয়ালিস্ট))
এমনকি আপনি যদি ফ্রেসোভিস্টকে এমন একজন হিসাবে সংজ্ঞা দেন এমনকি যার অনুমানকারীদের সর্বদা অনুকূল নমুনার বৈশিষ্ট্য থাকে তবে এ জাতীয় অনেকগুলি বৈশিষ্ট্য রয়েছে এবং আপনি সর্বদা পারেন না তাদের সাথে একসাথে দেখা। সুতরাং "সমস্ত ফ্রুসিডনিস্ট মডেল" সম্পর্কে সাধারণভাবে কথা বলা শক্ত।

Comments

আমি ভেবেছিলাম যে ঘনত্ববাদী বিশ্লেষণের জন্য একটি অন্তর্নিহিত পূর্ব কিছু অভিন্ন আগে হবে।

— মাইকেল আর। চেরনিক

এটা হতে পারে, কখনও কখনও। আপনি কোনও এমএলই ভাবতে পারেন এমএপি প্রাক্কলন হিসাবে ইউনিফর্ম আগে ব্যবহার করে। তবে এমএলইগুলি কেবলমাত্র সরঞ্জামই নয় যা ফ্রিকোয়েন্সিস্টরা ব্যবহার করে।

— সিভিলস্ট্যাট

সম্পর্কিত আরও একটি ধারণা: "ম্যাচিং প্রিয়ারস" বা "সম্ভাবনার সাথে মিলে যাওয়া প্রিয়ারস" নির্দিষ্ট প্রিরিয়াররা আপনার বিশ্বাসযোগ্য ব্যবধানটির সাথে প্রায়শই সেই নির্দিষ্ট প্যারামিটারের জন্য ঘন ঘন আত্মবিশ্বাসের ব্যবধানের সাথে মেলে । আবার এগুলি অভিন্ন হতে পারে তবে হতে হবে না। প্যারামিটারের পছন্দ এবং আপনি কতটা কাছাকাছি থাকতে চান তার উপর নির্ভর করে। উদাহরণস্বরূপ দেখুন utstat.utoronto.ca/reid/research/vaneeden.pdf1 - $1-\alpha$$1-\alpha$

— সিভিলস্ট্যাট