নতুন পর্যবেক্ষণ প্রবাহ হিসাবে এমএলইটিকে পুনরাবৃত্তভাবে আপডেট করা হচ্ছে

সাধারণ প্রশ্ন

বলুন যে আমাদের কাছে আইডির ডেটা রয়েছে $x_1$ , $x_2$ , ... স্ট্রিমিং। আমরা পুনরাবৃত্তভাবে the এর সর্বাধিক সম্ভাবনা অনুমানটি গণনা করতে চাই । এটি হ'ল, গণনা করা আমরা একটি নতুন পর্যবেক্ষণ করি এবং একরকমভাবে আমাদের অনুমান update আপডেট করতে চাই স্ক্র্যাচ থেকে শুরু না করেই। এর জন্য কি জেনেরিক অ্যালগরিদম রয়েছে? $\sim f(x\,|\,\boldsymbol{\theta})$ $\boldsymbol{\theta}$

{\hat{θ}}_{n - 1} = \underset{θ \in R^{p}}{\arg max} \prod_{i = 1}^{n - 1} f (x_{i} | θ),

$\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),$

x_{n}

$x_n$

{\hat{θ}}_{n - 1}, x_{n} \to {\hat{θ}}_{n}

$\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n}$

খেলনা উদাহরণ

যদি , , ... , তবে সুতরাং $x_1$ $x_2$ $\sim N(x\,|\,\mu, 1)$

{\hat{μ}}_{n - 1} = \frac{1}{n - 1} \sum_{i = 1}^{n - 1} x_{i} and {\hat{μ}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n = \frac{1}{n}\sum\limits_{i=1}^nx_i,$

{\hat{μ}}_{n} = \frac{1}{n} [(n - 1) {\hat{μ}}_{n - 1} + x_{n}] .

$\hat{\mu}_n=\frac{1}{n}\left[(n-1)\hat{\mu}_{n-1} + x_n\right].$

maximum-likelihood online

— jcz
সূত্র

এই সমস্যার বিপরীতটি ভুলে যাবেন না: পুরানো পর্যবেক্ষণগুলি মোছা হিসাবে অনুমানকারীকে আপডেট করা।

— হংক ওওয়ে

रिकর্সিভ ন্যূনতম স্কোয়ার্স (আরএলএস) এই সমস্যার একটি নির্দিষ্ট উদাহরণের একটি (খুব বিখ্যাত) সমাধান, তাই না? সাধারণত, আমি বিশ্বাস করব যে স্টোকাস্টিক ফিল্টারিং সাহিত্য অনুসন্ধানে কার্যকর হতে পারে।

— ঝিনে

উত্তর:

পর্যাপ্ততার ধারণাটি দেখুন এবং বিশেষত, ন্যূনতম পর্যাপ্ত পরিসংখ্যান দেখুন । অনেক ক্ষেত্রে আপনার নির্দিষ্ট নমুনা আকারে অনুমানটি গণনা করার জন্য পুরো নমুনার প্রয়োজন হয়, একটি আকারের আকারের চেয়ে ছোট আকারের (যেমন কোনও সুবিধাজনক সাধারণ ফলাফল নেই) থেকে আপডেট করার কোনও তুচ্ছ উপায় নেই।

যদি বিতরণ হয় তাত্পর্যপূর্ণ পরিবার হয় (এবং এটি ছাড়াও অন্যান্য কিছু ক্ষেত্রে; ইউনিফর্মটি একটি ঝরঝরে উদাহরণ) সেখানে যথেষ্ট পরিমাণে পরিসংখ্যান রয়েছে যা আপনার সন্ধানের পদ্ধতিতে অনেকগুলি ক্ষেত্রে আপডেট করা যেতে পারে (অর্থাত বেশ কয়েকটি সাধারণ ব্যবহৃত বিতরণগুলি সেখানে থাকবে) একটি দ্রুত আপডেট)।

একটি উদাহরণ আমি গণনা বা আপডেটের কোনও প্রত্যক্ষ উপায় সম্পর্কে অবগত নই তা হ'ল কচী বিতরণের অবস্থানের জন্য অনুমান (যেমন ইউনিট স্কেল সহ, সমস্যাটিকে সাধারণ ওয়ান-প্যারামিটার সমস্যা হিসাবে তৈরি করা)। তবে একটি দ্রুত আপডেট হতে পারে, যা আমি কেবল লক্ষ্য করি নি - আমি বলতে পারি না যে আমি আপডেটিং কেস বিবেচনা করার জন্য এটির চেয়ে বেশি নজর রেখেছি।

অন্যদিকে, এমএলইগুলির সাথে যেগুলি সংখ্যাসূচক অপ্টিমাইজেশন পদ্ধতির মাধ্যমে প্রাপ্ত হয়, পূর্ববর্তী অনুমানটি অনেক ক্ষেত্রে একটি দুর্দান্ত সূচনা পয়েন্ট হতে পারে, যেহেতু সাধারণত পূর্ববর্তী অনুমানটি আপডেটের প্রাক্কলনের খুব কাছাকাছি থাকবে; সেই দিক থেকে কমপক্ষে, দ্রুত আপডেট করা প্রায়শই সম্ভব হওয়া উচিত। এমনকি এটি সাধারণ ক্ষেত্রে নয়, যদিও - বহুবিধ সম্ভাবনার সম্ভাব্য ক্রিয়াকলাপগুলির সাথে (আবার উদাহরণস্বরূপ কচিকে দেখুন), একটি নতুন পর্যবেক্ষণের ফলে পূর্ববর্তীটি থেকে কিছুটা দূরে অবস্থিত সর্বোচ্চ মোডের দিকে পরিচালিত হতে পারে (এমনকি প্রত্যেকটির অবস্থানগুলিও বৃহত্তম কয়েকটি মোডের মধ্যে খুব বেশি স্থানান্তরিত হয়নি, কোনটি সবচেয়ে ভাল পরিবর্তিত হতে পারে)।

— গ্লেন_বি -রেইনস্টেট মনিকা
সূত্র

ধন্যবাদ! এমএলই সম্ভবত মুডের মাঝখানে স্যুইচিং সম্পর্কিত বিষয়টি বিশেষত কেন এটি সাধারণভাবে শক্ত হবে তা বোঝার জন্য সহায়ক।

— jcz

উপরের ইউনিট-স্কেল কচী মডেল এবং ডেটা (0.1,0.11,0.12,2.91,2.921,2.933) দিয়ে আপনি এটি নিজের জন্য দেখতে পাচ্ছেন। মোডগুলির অবস্থানের লগ-সম্ভাবনা 0.5 এবং 2.5 এর কাছাকাছি এবং (কিছুটা) উচ্চতর শিখরটি 0.5 এর কাছাকাছি একটি। এখন পরবর্তী পর্যবেক্ষণ 10 এবং দুটি শিখরগুলির প্রতিটিটির মোড সবেমাত্র সরে যায় তবে দ্বিতীয় চূড়াটি এখন যথেষ্ট উচ্চতর। গ্রেডিয়েন্ট বংশদ্ভুত ঘটনা যখন ঘটে তখন আপনাকে সাহায্য করবে না, এটি প্রায় আবার শুরু করার মতো। যদি আপনার জনসংখ্যা বিভিন্ন স্থানের সাথে দুটি একই আকারের উপগোষ্ঠীর মিশ্রণ হয়, তবে এ জাতীয় পরিস্থিতি দেখা দিতে পারে -। ... সিটিডি

— গ্লেন_বি -রাইনস্টেট মনিকা

সিটিডি ... এমনকি অপেক্ষাকৃত বড় নমুনায়ও। সঠিক পরিস্থিতিতে মোড স্যুইচিং প্রায়শই ঘটতে পারে।

— গ্লেন_বি -রাইনস্টেট মনিকা

n

$n$

হ্যাঁ সঠিক; উত্তরে সে বিষয়ে আলোচনা করব কিনা তা নিয়ে আমি নিজেকে নিয়ে বিতর্ক করেছি।

— গ্লেন_বি -রাইনস্টেট মনিকা

মেশিন লার্নিংয়ে এটি অনলাইন লার্নিং হিসাবে পরিচিত ।

@ গ্লেন_বি উল্লেখ করেছেন যে, এখানে বিশেষ কিছু কেস রয়েছে যাতে এমএলই পূর্ববর্তী সমস্ত ডেটা অ্যাক্সেস না করে আপডেট করা যায়। যেমনটি তিনি উল্লেখ করেছেন, আমি বিশ্বাস করি না যে এমএলই সন্ধানের জন্য জেনেরিক সমাধান রয়েছে।

আনুমানিক সমাধানটি সন্ধান করার জন্য মোটামুটি জেনেরিক পন্থা হ'ল স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত জাতীয় কিছু ব্যবহার করা। এক্ষেত্রে, প্রতিটি পর্যবেক্ষণ আসার সাথে সাথে আমরা এই স্বতন্ত্র পর্যবেক্ষণের প্রতি সম্মানের সাথে গ্রেডিয়েন্টটি গণনা করি এবং প্যারামিটারের মানগুলিকে এই দিকটিতে খুব অল্প পরিমাণে স্থানান্তর করি। কিছু নির্দিষ্ট শর্তে, আমরা দেখাতে পারি যে এটি উচ্চ সম্ভাবনার সাথে এমএলইয়ের একটি পাড়াতে রূপান্তরিত হবে; পদক্ষেপের আকারটি হ্রাস করার সাথে সাথে প্রতিবেশটি আরও কঠোর এবং কড়া হয় তবে রূপান্তরকরণের জন্য আরও ডেটা প্রয়োজন। যাইহোক, এই স্টোকাস্টিক পদ্ধতিগুলিতে ক্লোজড ফর্ম আপডেটগুলির চেয়ে ভাল পারফরম্যান্স পাওয়ার জন্য আরও বেশি ফিডিং প্রয়োজন।

— ক্লিফ এবি
সূত্র