MCMC নমুনা থেকে মোডের নির্ভরযোগ্যতা

Question

দোয়িং বেয়েসিয়ান ডেটা অ্যানালাইসিস বইয়ে জন ক্রাশেকে বলেছে যে আরএর থেকে জেএজেএস ব্যবহার করার সময়

... এমসিসিএম নমুনা থেকে মোডটির প্রাক্কলনটি বরং অস্থির হতে পারে কারণ অনুমানটি একটি স্মুথিং অ্যালগরিদমের উপর ভিত্তি করে তৈরি করা হয় যা এমসিসিএম নমুনায় এলোমেলো বাধা এবং রিপলগুলির সংবেদনশীল হতে পারে। ( বায়েশিয়ান ডেটা বিশ্লেষণ করছেন , পৃষ্ঠা 205, বিভাগ 8.2.5.1)

যদিও আমি মেট্রোপলিস অ্যালগরিদম এবং গীবস নমুনার মতো সঠিক ফর্মগুলি সম্পর্কে উপলব্ধি বোধ করি তবে আমি স্মরণে থাকা অ্যালগরিদমের সাথে খুব বেশি পরিচিত নই এবং কেন এটির অর্থ হবে এমসিমিসি নমুনা থেকে মোডের প্রাক্কলনটি অস্থির। স্মুথিং অ্যালগরিদম কী করছে এবং কেন এটি মোডের প্রাক্কলনটিকে অস্থিতিশীল করে তোলে সে সম্পর্কে কোনও অন্তর্দৃষ্টি দেওয়া যায়?

Comments

আমি জন ক্রুশকে মোড অনুমানের জন্য অ্যালগরিদম সম্পর্কে কথা বলছি যা কার্নেল ঘনত্বের অনুমানের উপর ভিত্তি করে।

— আন্দ্রে কোলিয়াডিন

এই লিঙ্কটি সহায়ক হতে পারে।

— আন্দ্রে কোলিয়াডিন

পরিসংখ্যানগুলির ক্ষেত্রে আমি যদি ভুল হয়ে থাকি তবে জাগস সম্ভাব্যতা ঘনত্বের ফাংশনের চেয়ে উত্তরের বিতরণ থেকে নমুনার একটি সেট বের করে দেয় যাতে নিশ্চিত হবেন না যে কর্নাল ঘনত্বের প্রাক্কলন এতে আসে। যদিও লিঙ্ক জন্য ধন্যবাদ।

— মরগান বল

আমি মনে করি এটি সম্ভবত আপনি কীভাবে একটি অবিচ্ছিন্ন ভেরিয়েবলের একটি বৃহত নমুনা থেকে একটি মোড অর্জন করবেন যেখানে কোনও নির্দিষ্ট মানের একের বেশি নাও থাকতে পারে এবং তাই আপনাকে এই নমুনাটিকে গ্রুপ (বা মসৃণ) করতে হবে think

— মরগান বল

আপনি কার্নেল ঘনত্বের অনুমানের উপর সর্বাধিক ঘনত্বের সাথে মান হিসাবে মোড অর্জন করতে পারেন। (কমপক্ষে এটি আমি করি যা, এবং যদি আমি ভুল না করে থাকি তবে

— ক। ক্রাশকে

Answer 1

আমার কাছে বইটি নেই তাই আমি নিশ্চিত নই যে ক্রুশকে কী ধূমপান করার পদ্ধতিটি ব্যবহার করা হচ্ছে তা নিশ্চিত, তবে অন্তর্দৃষ্টি জন্য 0.1 থেকে 1.0 এর বিভিন্ন ব্যান্ডউইদথ ব্যবহার করে গাউসীয় কার্নেল ঘনত্বের অনুমানের পাশাপাশি মানক থেকে 100 টি নমুনার এই প্লটটি বিবেচনা করুন । (সংক্ষেপে, গাউসিয়ান কেডিআই হ'ল ধীরে ধীরে হিস্টোগ্রাম: পর্যবেক্ষণকৃত মান অনুসারে প্রতিটি ডাটা পয়েন্টের জন্য গাউসিয়ান যুক্ত করে তারা ঘনত্বের অনুমান করে))

আপনি দেখতে পাচ্ছেন যে একবার ধূমপানের পরেও একটি অবিমোচনীয় বিতরণ তৈরি হয়, মোডটি সাধারণত 0 এর জ্ঞাত মানের নীচে থাকে।

আরও, এখানে একই নমুনা ব্যবহার করে ঘনত্ব অনুমান করার জন্য কার্নেল ব্যান্ডউইথ দ্বারা অনুমান করা মোডের (y-axis) প্লট রয়েছে। আশা করি মসৃণ পরামিতিগুলির সাথে অনুমান কীভাবে পরিবর্তিত হয় সে সম্পর্কে এটি কিছু অন্তর্দৃষ্টি দেয় nds

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 09:35:51 2017

@author: seaneaster
"""

import numpy as np
from matplotlib import pylab as plt
from sklearn.neighbors import KernelDensity

REAL_MODE = 0
np.random.seed(123)

def estimate_mode(X, bandwidth = 0.75):
    kde = KernelDensity(kernel = 'gaussian', bandwidth = bandwidth).fit(X)
    u = np.linspace(-3,3,num=1000)[:, np.newaxis]
    log_density = kde.score_samples(u)
    return u[np.argmax(log_density)]

X = np.random.normal(REAL_MODE, size = 100)[:, np.newaxis] # keeping to standard normal

bandwidths = np.linspace(0.1, 1., num = 8)

plt.figure(0)
plt.hist(X, bins = 100, normed = True, alpha = 0.25)

for bandwidth in bandwidths:
    kde = KernelDensity(kernel = 'gaussian', bandwidth = bandwidth).fit(X)
    u = np.linspace(-3,3,num=1000)[:, np.newaxis]
    log_density = kde.score_samples(u)
    plt.plot(u, np.exp(log_density))

bandwidths = np.linspace(0.1, 3., num = 100)
modes = [estimate_mode(X, bandwidth) for bandwidth in bandwidths]
plt.figure(1)
plt.plot(bandwidths, np.array(modes))

Answer 2

শন ইস্টার একটি দুর্দান্ত উত্তর সরবরাহ করেছে; ক্রুশকের বইয়ের সাথে আসা আর স্ক্রিপ্টগুলি এটি কীভাবে আসলে এখানে রয়েছে। plotPost()ফাংশন নামে আর লিপিতে সংজ্ঞায়িত করা হয় DBDA2E-utilities.R। এটি আনুমানিক মোড প্রদর্শন করে। ফাংশন সংজ্ঞা ভিতরে, এই দুটি লাইন আছে:

mcmcDensity = density(paramSampleVec)
mo = mcmcDensity$x[which.max(mcmcDensity$y)]

density()ফাংশন আর বেস পরিসংখ্যান প্যাকেজ, এবং কার্যকরী সাজানোর শন ইস্টার বর্ণনা একটি কার্নেল ঘনত্ব ফিল্টার দিয়ে আসে। এটিতে স্মুথিং কার্নেলের ব্যান্ডউইথ এবং কার্নেলের ধরণের ব্যবহারের জন্য optionচ্ছিক যুক্তি রয়েছে। এটি গাউসিয়ান কার্নেলের কাছে ডিফল্ট এবং এতে একটি দুর্দান্ত ব্যান্ডউইথ খুঁজে পাওয়ার জন্য কিছু অভ্যন্তরীণ যাদু রয়েছে। density()ফাংশন নামে একটি উপাদান সঙ্গে একটি বস্তু ফেরৎ yবিভিন্ন মান এ মসৃণ ঘনত্বের আছে x। উপরের কোডের দ্বিতীয় লাইনটি সর্বাধিক xযেখানে মান সন্ধান করে y।