ঘনত্বের পরামিতিগুলিতে হাইপারপ্রায়ার বিতরণ সহ বহুজাতিক-ডিরিচলেট মডেল

Question

আমি সমস্যাটি যতটা সম্ভব সাধারণভাবে বর্ণনা করার চেষ্টা করব। আমি একটি পরামিতি সম্ভাবনা ভেক্টর থিটা সহ শ্রেণীবদ্ধ বিতরণ হিসাবে পর্যবেক্ষণগুলি মডেলিং করছি ।

তারপরে, আমি ধরে নিয়েছি প্যারামিটার ভেক্টর থিটা পরামিতিগুলির সাথে একটি ডিরিচলেট পূর্ব বিতরণ অনুসরণ করে ।$\alpha_1,\alpha_2,\ldots,\alpha_k$

পরামিতিগুলির বিতরণ চাপিয়ে দেওয়া কি সম্ভব ? এটি কি ধরণের শ্রেণিবিন্যাস এবং ডাইরিচলেট বিতরণের মতো একটি বহুবিধ বিতরণ হতে হবে? আমার কাছে মনে হয় আলফা সর্বদা ইতিবাচক থাকে তাই গামা হাইপারপ্রাইয়ারের কাজ করা উচিত।$\alpha_1,\alpha_2,\ldots,\alpha_k$

কেউ যদি এ জাতীয় (সম্ভবত) ওভারপ্যারমেট্রাইজড মডেলগুলির জন্য ফিট করার চেষ্টা করেছেন তবে এটি আমার পক্ষে যুক্তিযুক্ত মনে হয় যে আলফাটি ঠিক করা উচিত নয় বরং গামা বিতরণ থেকে আসা উচিত।

অনুশীলনে আমি কীভাবে এই পদ্ধতির চেষ্টা করতে পারি সে সম্পর্কে দয়া করে কিছু তথ্যসূত্র, অন্তর্দৃষ্টি দেওয়ার চেষ্টা করুন।

Comments

হ্যাঁ, এটি সম্ভব এবং এটি হয়ে গেছে। সাধারণভাবে একে বায়েশিয়ান হায়ারারিকিকাল মডেল বলা হয়। সাধারণত, এই পূর্বেরটি সম্ভাব্য নির্ভরতার জন্য অ্যাকাউন্ট করা উচিত।

@ প্রিলিনেটর ধন্যবাদ এই ধরণের মডেলগুলির সাথে সম্পর্কিত ভাল বয়েসিয়ান হায়ারার্কিকাল মডেলগুলির জন্য আপনার কি কিছু রেফারেন্স রয়েছে? ধন্যবাদ।

— দনাইল

@ প্রবিলিনেটর: আপনি কি বেইসিয়ান হায়ারার্কিকাল মডেল সম্পর্কিত কোনও কাগজপত্র / রিপোর্ট বা আদর্শভাবে আবেদনপত্রের নথি পেতে প্রস্তুত করেছেন?

— ঝুবার্ব

Answer 1

আমি মোটেও এটি "ওভারপ্যারামেটরিজাইজড" মডেল বলে মনে করি না। আমি যুক্তি দিয়ে বলব যে ডিরিচলেট পরামিতিগুলির উপর একটি অগ্রাধিকার রেখে, আপনি কোনও নির্দিষ্ট ফলাফল সম্পর্কে কম প্রতিশ্রুতিবদ্ধ হচ্ছেন। বিশেষত, যেমনটি আপনি সম্ভবত জানেন, প্রতিসাম্য ডিরিচলেট বিতরণগুলির জন্য (যেমন ) সেটিং বহু বহুজাতিক বিতরণ ছড়িয়ে দেওয়ার আরও পূর্ব সম্ভাবনা দেয়, যখন আরও পূর্ব সম্ভাবনা দেয় মসৃণ বহুজাতিক বিতরণ। α < 1 α > $\alpha_1 = \alpha_2 = ... \alpha_K$$\alpha<1$$\alpha>1$

যে ক্ষেত্রে বিচ্ছিন্ন বা ঘন বহু-বহু বিতরণের জন্য কারও কাছে দৃ strong় প্রত্যাশা নেই, আপনার ডিরিচলেট বিতরণে হাইপারপ্রাইয়ার স্থাপন করা আপনার মডেলকে তাদের মধ্যে চয়ন করার জন্য কিছুটা নমনীয়তা দেয়।

আমি এই কাগজটি থেকে মূলত এটি করার ধারণা পেয়েছি । তারা যে হাইপারপ্রাইমারটি ব্যবহার করেন তা আপনার পরামর্শের চেয়ে কিছুটা আলাদা। তারা একটি ডেরিচলেট থেকে সম্ভাব্যতা ভেক্টরকে নমুনা দেয় এবং তারপরে এটি কোনও ক্ষতিকারক (বা গামা) এর ড্র দ্বারা স্কেল করে। সুতরাং মডেলটি হ'ল

$$\begin{eqnarray} \beta &\sim &Dirichlet(1)\\ \lambda& \sim &Exponential(\cdot)\\ \theta& \sim &Dirichlet(\beta\lambda) \end{eqnarray}$$

অতিরিক্ত ডিরিচলেট কেবলমাত্র প্রতিসাম্য চাপানো এড়াতে।

আমি বহু লোকের নিঃসরণ বিতরণ সহ লুকানো মার্কভ মডেলগুলির প্রসঙ্গে একটি ডিরিচলেটের আগে লোকেরা কেবল গামা হাইপার ব্যবহার করতে দেখেছি, তবে আমি কোনও রেফারেন্স পাইনি বলে মনে হয়। এছাড়াও, মনে হচ্ছে আমি টপিক মডেলগুলিতে ব্যবহৃত একই রকম হাইপারগুলির মুখোমুখি হয়েছি।

Comments

ধন্যবাদ দুর্দান্ত উত্তর! আমার একটি সংক্ষিপ্ত ফলো-আপ প্রশ্ন রয়েছে, এই মডেলটি কি প্রতিটি থিটার বিভিন্ন পরিবর্তনের জন্য অনুমতি দেবে? আমার এই প্রশ্নটি রয়েছে যেহেতু প্যারামিটার ল্যাম্বডা সমস্ত থাটা জুড়ে ভাগ করা হয়েছে, তাই তারা সকলেই একই স্কেলিং প্যারামিটার ভাগ করে নেয় তাই আমি ভাবছিলাম মডেলটি এই জাতীয় নমনীয়তা সরবরাহ করবে overd আপনার অন্তর্দৃষ্টি / জ্ঞান এখানে প্রশংসা করা হয়! ধন্যবাদ!

— দনাইল

@ দনিয়েল, আমি যদি আপনার প্রশ্নটি ভুল বুঝে থাকি তবে আমাকে বলুন, তবে হ্যাঁ, আগে ডিমিচলেট সমান্তরাল ডাইরিলেট নিয়েও, এই বিতরণ থেকে অঙ্কিত হওয়ার ফলে বিচ্ছিন্ন- ভেক্টর তৈরি হবে। বিক্ষিপ্ত দ্বারা আমি বলতে চাচ্ছি যদি আপনি প্লটে বিভক্ত ছিল ভেক্টর একটি হিস্টোগ্রাম এটা খুব রোগগ্রস্ত বরং ফ্ল্যাট চেয়ে হবে, হিসাবে। Ich পরামিতি একটি ডাইরিচলেট হাইপারপ্রাইয়ার থেকে টানা হওয়ায় ডিরিচলেট প্যারামিটারগুলি উপরে মডেলগুলিতে প্রতিসাম্য নয় । θ θ $Dirichlet(0.2, 0.2, 0.2, 0.2)$$\theta$$\theta$$\beta$

— জেরাদ

Answer 2

এই হাইপারপ্রাইয়ার সমস্যার সমাধানটি প্রদর্শনের জন্য, আমি পাইএমসি 3-তে একটি শ্রেণিবিন্যাসিক গামা-ডিরিচলেট-মাল্টিনোমিয়াল মডেলটি প্রয়োগ করেছি। টেডি ডানিংয়ের ব্লগ পোস্টে দিরিচ্লেটের পূর্বের গামা নির্দিষ্ট এবং নমুনাযুক্ত ।

আমি প্রয়োগ করা মডেলটি এই গিস্টটিতে পাওয়া যাবে তবে নীচেও বর্ণিত হয়েছে:

এটি সিনেমা রেটিংয়ের জন্য একটি বয়েসিয়ান হায়ারার্কিকাল (পুলিং) মডেল। প্রতিটি মুভি শূন্য থেকে পাঁচ পর্যন্ত স্কেলে রেট দেওয়া যায়। প্রতিটি মুভি বেশ কয়েকবার রেট করা হয়। আমরা প্রতিটি সিনেমার জন্য রেটিংগুলির একটি দ্রুত বন্টন খুঁজে পেতে চাই।

আমরা ডেটা থেকে মুভি রেটিংয়ের উপরে একটি শীর্ষ স্তরের পূর্ব বিতরণ (হাইপারপ্রায়ার) শিখতে চলেছি। এরপরে প্রতিটি মুভিটির নিজস্ব প্রাক থাকবে যা এই শীর্ষ-স্তরের পূর্বের দ্বারা ধীরে ধীরে ছড়িয়ে পড়ে। এ সম্পর্কে চিন্তাভাবনার আরেকটি উপায় হ'ল প্রতিটি সিনেমার রেটিংয়ের পূর্বেরটি গ্রুপ-স্তর, বা পুল করা, বিতরণের দিকে সঙ্কুচিত হবে।

যদি কোনও সিনেমার একটি অ্যাটিকিকাল রেটিং বিতরণ থাকে তবে এই পদ্ধতির রেটিংগুলি প্রত্যাশিত সাথে আরও কিছুটা ইন-লাইনে সঙ্কুচিত করবে। তদ্ব্যতীত, এই শিখানো পূর্বে কয়েকটি রেটিং সহ সিনেমাগুলি বুটস্ট্র্যাপ করতে কার্যকর হতে পারে যাতে অনেকগুলি রেটিংয়ের সাথে চলচ্চিত্রের তুলনায় অর্থপূর্ণভাবে তুলনা করা যায়।

মডেলটি নিম্নরূপ:

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

কোথায়:

• $K$ মুভি রেটিং স্তরের সংখ্যা (যেমন বোঝায় রেটিং 0, ..., 5)$K = 6$
• $M$ মুভি রেট করা হচ্ছে
• $N_m$ জন্য রেটিং সংখ্যা$m$
• $\alpha = 1 / K$ গামা আরভিএসের সংগ্রহকে তাত্পর্যপূর্ণ সহগ হিসাবে কাজ করে
• $\beta$on পূর্বে সূচকীয় শীর্ষ স্তরের জন্য রেট প্যারামিটার
• $c$ ঘনত্ব পরামিতি উপরের স্তরের শক্তি আগে নির্ধারিত
• $\gamma_k$ টপ লেভেল রেটিং স্তরের জন্য পূর্বে$k$
• $\theta_m$ চলচ্চিত্র-স্তরের রেটিং স্তরের পূর্বে (মাত্রা = দিয়ে মাল্টিভিয়ারেট )$K$
• এন $z_{mn}$ রেটিং সিনেমার জন্য$n$$m$

Answer 3

এটি সরাসরি বায়েশিয়ান সংঘবদ্ধ পূর্ব মডেলিং। বিটা-বিনোমিয়াল মডেল থেকে একটি প্রাকৃতিক বর্ধন। এটির জন্য একটি ভাল উত্স বইটি হতে পারে । পোস্টেরিয়েরিও ডিরিচলেট এবং তাই ডাইরিচলেট থেকে অনুকরণটি প্রয়োজনীয় সংক্ষিপ্তসার দেবে

Comments

ধন্যবাদ। আমি এই ধরনের বই, দুর্দান্ত রেফারেন্সের সাথে পরিচিত। আমি এটি দেখার চেষ্টা করেছি কিন্তু তারা সরাসরি এ জাতীয় বহু-স্তরীয় শ্রেণিবদ্ধ মডেল সরবরাহ করে না, তবে তাদের কাছে প্রচুর ভাল ধারণা রয়েছে যা প্রয়োগ করা যেতে পারে।

— দনাইল

ডাইরিচলেট-মাল্টিনোমিয়াল একটি কনজুগেট মডেল, তবে অপশনটি ডিরিচ্লেটের পরামিতিগুলির আগে একটি (হাইপার-) সম্পর্কে অনুসন্ধান করেছিল। ডিরিচলেট বিতরণের আগে কোনও স্ট্যান্ডার্ড কনজুগেট নেই, যদিও বাস্তবে এটির একটি অবশ্যই উপস্থিত থাকতে হবে , কারণ এটি ঘাতক পরিবারের সদস্য।

— জেরাদ