কেন আমরা বিভিন্ন টপোলজিতে বিভিন্ন অনুমানকারীর রূপান্তর আচরণগুলি আলোচনা করব?

অ্যালজেব্রিক জ্যামিতি এবং পরিসংখ্যান লার্নিং থিওরি বইয়ের প্রথম অধ্যায়ে যা বিভিন্ন কার্যকরী স্থানে অনুমানের রূপান্তর সম্পর্কে কথা বলেছে, তাতে উল্লেখ করা হয়েছে যে বায়েসীয় অনুমানটি শোয়ার্জ বন্টন টোপোলজির সাথে মিল রয়েছে, যেখানে সর্বাধিক সম্ভাবনার অনুমানটি সুপার-আদর্শ টপোলজির সাথে মিল রয়েছে (7 পৃষ্ঠায়):

উদাহরণস্বরূপ, সুপার-নর্ম, $L^p$ নরম, হিলবার্ট স্পেসের দুর্বল টপোলজি $L^2$ , শোয়ার্টজ ডিস্ট্রিবিউশন টপোলজি ইত্যাদি on এটি দৃ strongly়ভাবে ফাংশন স্পেসের টপোলজির উপর নির্ভর করে যে রূপান্তরটি $K_n(w)\to K(w)$ ধারণ করে কিনা । বেয়েস অনুমান শোয়ার্জ ডিস্ট্রিবিউশন টপোলজির সাথে মিলে যায়, যেখানে সর্বাধিক সম্ভাবনা বা কোনও পোস্টেরিয়েরি পদ্ধতিটি সাপ-আদর্শের সাথে মিলে যায়। এই পার্থক্যটি একক মডেলগুলিতে শিক্ষার ফলাফলগুলিকে দৃ strongly়ভাবে প্রভাবিত করে।

যেখানে $K_n(w)$ এবং $K(w)$ যথাক্রমে অনুশীলনীয় কেএল-ডাইভারজেন্স (পর্যবেক্ষণগুলির উপরে সংমিশ্রণ) এবং সত্য কেএল-ডাইভারজেন (ডেটা বিতরণ) সত্য মডেল এবং একটি প্যারামিটারিক মডেলের (প্যারামিটার $w$ ))

যে কেউ ব্যাখ্যা দিতে পারে, বা আমাকে ইঙ্গিত দিতে পারে যে বইয়ের কোন জায়গার ন্যায্যতা আছে? ধন্যবাদ.

আপডেট : কপিরাইট বিষয়বস্তু সরানো হয়েছে।

bayesian maximum-likelihood statistical-learning

— ziyuang
সূত্র

কি

এবং

K

$K$

K_{n}

$K_n$

— টেলর

@ টেলর আমি কিছু প্রয়োজনীয় তথ্য যুক্ত করেছি।

— ziyuang

আমি আপনার প্রশ্নের উত্তর পরে দেব, আমি ওয়াতানাবের বই তুলনামূলকভাবে ভাল জানি। তবুও আপনি কোনও বইয়ের উদ্ধৃতি দেওয়ার পদ্ধতিটি আমি দৃ strongly়ভাবে অপছন্দ করি। আপনি এখানে বিভাগগুলি সরাসরি রাখলে এটি সম্ভাব্য কপিরাইট সমস্যার কারণ হতে পারে। পৃষ্ঠা নম্বর ব্যবহার এবং উপযুক্ত বিবের সাথে উদ্ধৃতি টাইপ করা আরও ভাল পছন্দ হবে।

— হেনরি.এল

@ হেনরি.এল ধন্যবাদ, এবং কপিরাইটের সামগ্রীগুলি সরানো হয়েছে।

— জিয়ুয়াং

@ হেনরি: যদিও আমি বিশ্বাস করি যে কপিরাইটযুক্ত কাজগুলির অংশগুলি পুনরুত্পাদন করার ক্ষেত্রে সতর্ক এবং বিবেকবান হওয়ার মূল্য রয়েছে, তবে আমি মনে করি, এই ক্ষেত্রে জিয়ুয়াংয়ের উদ্বেগ করার মতো একেবারেই নেই। পণ্ডিত সমালোচনার জন্য ওপি-র ছোট ছোট অংশগুলির ব্যবহার (মার্কিন যুক্তরাষ্ট্র) "ন্যায্য ব্যবহার" মতবাদের মধ্যে খুব বর্গক্ষেত্র পড়ে। প্রকৃতপক্ষে, সঠিক প্রজননটি কখনও কখনও বিশেষত মূল্যবান হতে পারে যেহেতু এটি সামগ্রীর পুনরায় সংস্থাগুলির দ্বারা প্রবর্তিত হতে পারে এমন কোনও অস্পষ্টতা সরিয়ে দেয়। (আইএনএএনএল সমস্ত বলেছে))

— কার্ডিনাল

ওয়াতানাবের আলোচনা বুঝতে, এটা বোঝা গুরুত্বপূর্ণ যে তিনি "এককতা" বলতে কী বোঝাতে চেয়েছিলেন। (কড়া) একাকীত্ব তাঁর তত্ত্বটিতে একক মেট্রিকের জ্যামিতিক ধারণার সাথে মিলে যায়।

p.10 [ওয়াটানাবে]: "একটি পরিসংখ্যানগত মডেল এটি নিয়মিত হিসাবে বলা হয় যা এটি সনাক্তযোগ্য এবং যদি ইতিবাচক নির্দিষ্ট মেট্রিক থাকে a যদি কোনও পরিসংখ্যানের মডেল নিয়মিত না হয়, তবে একে কঠোরভাবে একবচন বলা হয়।" $p(x\mid w)$

অনুশীলনে, সাধারণত এককতা দেখা দেয় যখন "মেশিন লার্নিং" কার্যক্রমে নিম্ন পদ বা বিচ্ছিন্ন মামলার মতো মডেল দ্বারা সংজ্ঞায়িত বহুগুণে অধঃপতিত হয়ে মডেল দ্বারা প্রেরিত ফিশার তথ্য মেট্রিক।

ওয়াতানাবে তার তাত্ত্বিক মানের মধ্যে অনুশীলনীয় কেএল ডাইভারজেন্সের রূপান্তর সম্পর্কে যা বলেছিলেন তা নীচে বোঝা যায়। বিচরণের ধারণার একটি উত্স শক্তিশালী পরিসংখ্যান থেকে আসে। বিপরীতে ফাংশন সাথে একটি বিশেষ কেস হিসাবে এমএলই অন্তর্ভুক্ত রয়েছে এমন এম-অনুমানকারীগুলি সাধারণত দুর্বল টপোলজি ব্যবহার করে আলোচিত হয়। স্থানের উপর দুর্বল টপোলজি ব্যবহার করে কনভার্সন আচরণটি আলোচনা করা যুক্তিসঙ্গত ) কারণ আমরা এমএলইয়ের দৃ rob়তা আচরণটি অধ্যয়ন করতে চাই। [হুবার] এর একটি শাস্ত্রীয় উপপাদ্যটি বলেছিল যে ভালভাবে পৃথক করা ডাইভারজেন্স ফাংশন $\rho(\theta,\delta(X))=-\log p(X\mid \theta)$ পোলিশ স্পেস উপর সংজ্ঞায়িত সমস্ত সম্ভাব্য ব্যবস্থার বহুগুণ $M(\cal{X})$ $\cal{X}$ । $D(\theta_0,\theta)=E_{\theta_{0}}\rho(\theta,\delta)$

inf_{| θ - θ_{0} | \geq ϵ} (| D (θ_{0}, θ) - D (θ_{0}, θ_{0}) |) > 0

$\inf_{|\theta-\theta_0|\geq\epsilon}(|D(\theta_0,\theta)-D(\theta_0,\theta_0)| )>0$ এবং বিকিরণ বিপরীতে ফাংশনের ভাল গবেষণামূলক পড়তা,

নিয়মানুবর্তিতা সঙ্গে বরাবর, আমরা অর্থে দৃঢ়তা উত্পাদ করতে পারেন

sup_{θ} | \frac{1}{n} \sum_{i} ρ (θ, δ (X_{i})) - D (θ_{0}, θ) | \to 0, n \to \infty

$\sup_{\theta}\left|\frac{1}{n}\sum_{i}\rho(\theta,\delta(X_i))- D(\theta_0,\theta)\right|\rightarrow 0,n\rightarrow\infty$

থেকে বিন্দুতে মিলিত হবে

সম্ভবত

। যদি আমরা বায়েশিয়ার অনুমানকারকের দুর্বল ধারাবাহিকতায় ডুবের ফলাফল [ডাব] এর সাথে তুলনা করি তবে এই ফলাফলটির জন্য আরও সুনির্দিষ্ট শর্ত প্রয়োজন।

\hat{θ_{n}} := {a r g m i n}_{θ} ρ (θ, δ (X_{n}))

$\hat{\theta_n}:=\mathrm{arg\,min}_{\theta}\rho(\theta,\delta(X_n))$

θ_{0}

$\theta_0$

P_{θ_{0}}

$P_{\theta_0}$

সুতরাং এখানে বায়েশিয়ান অনুমানকারী এবং এমএলই ডাইভারেজ। আমরা যদি এখনও বায়েশিয়ান অনুমানকারীদের ধারাবাহিকতা নিয়ে আলোচনা করতে দুর্বল টপোলজি ব্যবহার করি তবে এটি অর্থহীন কারণ বেইসিয়ান অনুমানকারীরা সর্বদা (সম্ভাব্যতার সাথে) ডুব দ্বারা সামঞ্জস্য থাকবে। সুতরাং আরও উপযুক্ত টপোলজি হ'ল শোয়ার্জ ডিস্ট্রিবিউশন টপোলজি যা দুর্বল ডেরাইভেটিভস এবং ভন মাইসেসের তত্ত্বকে কার্যকর করতে সহায়তা করে। ব্যারনের কাছে এই বিষয়টিতে খুব সুন্দর প্রযুক্তিগত প্রতিবেদন ছিল যাতে আমরা কীভাবে সামঞ্জস্যতা পেতে শোয়ার্জ উপপাদ্যটি ব্যবহার করতে পারি।

$D$

"একবচনীয় শিক্ষার ফলাফল" প্রভাবিত হয়েছে কারণ আমরা যেমন দেখছি যে ডাবের ধারাবাহিকতা উপপাদ্যটি নিশ্চিত করেছে যে বায়েশিয়ান অনুমানকারীরা দুর্বল টপোলজিতে দুর্বলভাবে সামঞ্জস্যপূর্ণ (এমনকি একক মডেল হিসাবেও) থাকতে পারে এবং এমএলই একই টপোলজিতে কিছু প্রয়োজনীয়তা পূরণ করতে পারে।

কেবল একটি শব্দ, [ওয়াটানাবে] নতুনদের নয়। এটির বাস্তব বিশ্লেষণী সেটগুলির উপর কিছু গভীর প্রভাব রয়েছে যা বেশিরভাগ পরিসংখ্যানবিদদের চেয়ে গাণিতিক পরিপক্কতার প্রয়োজন, সুতরাং এটি উপযুক্ত নির্দেশিকা ব্যতীত এটি পড়া ভাল ধারণা নয়।

$\blacksquare$

[ওয়াটানাবে] ওয়াতানাবে, সুমিও। বীজগণিত জ্যামিতি এবং পরিসংখ্যান শেখার তত্ত্ব। ভোল। 25. কেমব্রিজ বিশ্ববিদ্যালয় প্রেস, ২০০৯।

[হুবার] হুবার, পিটার জে। "মানহীন অবস্থার মধ্যে সর্বাধিক সম্ভাবনার অনুমানের আচরণ।" গাণিতিক পরিসংখ্যান এবং সম্ভাবনার উপর পঞ্চম বার্কলে সিম্পোজিয়ামের কার্যক্রম। ভোল। 1. নং 1. 1967।

[ডুব] ডুব, জোসেফ এল। "মার্টেইলেস তত্ত্বের প্রয়োগ।" লে ক্যালকুল ডেস প্রোব্যাবিলাইটস এবং এস এস এস অ্যাপ্লিকেশনগুলি (1949): 23-27।

— Henry.L
সূত্র

আমি উত্তরের অংশগুলির জন্য কিছু অন্তর্দৃষ্টি দেওয়ার চেষ্টা করছি তাই যদি আমার ভুল হয় তবে আমাকে সংশোধন করুন। বেইস অনুমানকারীটি সামঞ্জস্যপূর্ণ যদি আমরা এটিকে একটি পয়েন্ট আনুমানিক হিসাবে দেখি (এমএপি, একটি সম্ভাব্য বিতরণের পরিবর্তে)। নিয়মিতকরণ হিসাবে পূর্বের অভিনয় করার কারণে এটি স্বতঃস্ফূর্তভাবে এমএলএর চেয়ে কম ধারাবাহিকতার জন্য কম শর্ত প্রয়োজন। অন্যদিকে, শোয়ার্টজ ডিস্ট্রিবিউশন টপোলজিটি আরও উপযুক্ত যখন আমরা বয়েস অনুমানকারীকে একটি বিতরণ হিসাবে দেখি, এটি এমএলই এবং বেয়েস অনুমানকারকের সামঞ্জস্যের মধ্যে আরও ঘনিষ্ঠ সম্পর্ক তৈরি করতে সহায়তা করে, যাতে যে ক্ষেত্রে যেখানে একটি ডাইভারেজ এবং অপর রূপান্তর ঘটে না সে ক্ষেত্রে এটি ঘটে না will ।

— জিয়ুয়াং

দুঃখিত তবে আমি আপনার ব্যাখ্যাটি সঠিক বলে মনে করি না। পূর্ববর্তীগুলি নিয়মিতকরণ হিসাবে কাজ করে তবে তা কনভার্জেনশন হারকে নিয়ন্ত্রণ করে না। প্রকৃতপক্ষে ফ্ল্যাট প্রিয়াররা বাস্তবে রূপান্তরকে ধীর করে দেয়। এগুলি কেবল দুটি পৃথক টপোলজি।

— হেনরি.এল