পুনরাবৃত্ত (অনলাইন) সর্বনিম্ন স্কোয়ার অ্যালগরিদমকে নিয়মিত করে

Question

টিখনভ নিয়মিতকরণ (ন্যূনতম স্কোয়ারগুলি নিয়মিত করা) এর জন্য কোনও অনলাইন (পুনরাবৃত্ত হওয়া) অ্যালগরিদমের দিকে আমাকে কী নির্দেশ করতে পারে?

একটি অফলাইন সেটিং, আমি নিরূপণ করবে আমার মূল ডেটা সেট যেখানে ব্যবহার λ ক্রস বৈধতা এন-ভাঁজ ব্যবহার পাওয়া যায়। Y = x ^ T \ hat \ বিটা ব্যবহার করে প্রদত্ত এক্সের জন্য একটি নতুন y মানের পূর্বাভাস দেওয়া যেতে পারে ।λYএক্সY=এক্সটি$\hat\beta=(X^TX+λI)^{−1}X^TY$$λ$$y$$x$$y=x^T\hat\beta$

একটি অনলাইন সেটিংয়ে আমি ক্রমাগতভাবে নতুন ডেটা পয়েন্ট আঁকি। পুরো ডেটা সেটটিতে (আসল + নতুন) সম্পূর্ণ পুনরুদ্ধার না করে যখন আমি নতুন অতিরিক্ত ডেটা নমুনাগুলি আঁকি তখন আমি কীভাবে \ টুপি \ বিটা আপডেট করতে পারি $\hat\beta$?

Comments

আপনার তিখোনভ-নিয়ন্ত্রিত সর্বনিম্ন স্কোয়ারগুলিকে সম্ভবত পরিসংখ্যানগত বৃত্তগুলিতে লেভেনবার্গ-মার্কোয়ার্ড বলা হয় , এমনকি শুদ্ধ-লিনিয়ার সমস্যাগুলির ক্ষেত্রে প্রয়োগ করা হয় (যেমন এখানে)। অনলাইনে Levenberg Marquardt সম্পর্কে একটি কাগজ এর এখানে । আমি জানি না যে এটি কোনও সহায়তা কিনা।

— গ্লেন_বি -রিনস্টেট মনিকা 10'14

Answer 1

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

যাক , তারপর$M_n^{-1} = (XX^T+λI)^{−1}$

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ , এবং

$M_{n+1} - M_n = x_nx_n^T$ , আমরা পেতে পারি

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

উডবারি সূত্র অনুসারে , আমাদের রয়েছে

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

ফলস্বরূপ,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

গড় গড় নির্দেশ করে আপনি আনুমানিক রেঞ্জের সাথে ব্যবহার করতে পারেন থেকে । আপনার ক্ষেত্রে আপনার পুনরাবৃত্তির জন্য সেরা নির্বাচন করার চেষ্টা করতে পারেন ।এম - 1 $\eta_n = n^{-\alpha}$ α0.51$\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$$\alpha$$0.5$$1$$\alpha$

---

আমি মনে করি আপনি যদি ব্যাচের গ্রেডিয়েন্ট অ্যালগরিদম প্রয়োগ করেন তবে এটি কাজ করে:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

Comments

যদি আমি প্রতিবার নতুন ডেটার ব্যাচের নমুনাগুলি সহ আমার রেজিস্টার আপডেট করি তবে যেখানে প্রতিটি ধারাবাহিক ব্যাচ কিছুটা আলাদা বিতরণ থেকে আঁকা হয়? অর্থাত্ নন আইআইডি। এক্ষেত্রে আমি চাইব যে রেজিস্ট্রার নতুন ডেটা আমলে নেবে, তবে পুরাতন ডেটা (পূর্ববর্তী ব্যাচগুলি) এর স্থানীয় অঞ্চলে এর ভবিষ্যদ্বাণীগুলিকে প্রভাবিত করবে না? আপনি যে কোনও সাহিত্যে আপনাকে দরকারী বোধ করতে পারেন তা কি আমাকে নির্দেশ করতে পারেন?

— rnoodle

ভাল প্রশ্ন, তবে দুঃখিত বর্তমানে আমি উত্তরটিতে ব্যাচ গ্রেডিয়েন্ট ফর্মুলা ব্যবহার করতে বা সরাসরি ম্যাট্রিক্স ফর্ম প্রয়োগ করে আনতে পারলে এটি আপনার মডেলটিকে কতটা প্রভাব ফেলবে তা বলতে পারি না: এবং ta (- আলফা) * এক্স (ওয়াই-এক্স) 'বিটা_এন) যেখানে এক্স, ওয়াই আপনার নতুন ব্যাচের নমুনাগুলি

— লেনন 310

হাই, মনে হচ্ছে নিয়মিতকরণের সহগ পুনরাবৃত্তির আপডেট সূত্রে জড়িত নয়? বা এটি কেবল এম ম্যাট্রিক্সের বিপরীতটি শুরু করার ক্ষেত্রে গুরুত্বপূর্ণ?

— পেং ঝাও

Answer 2

একটি পয়েন্ট যা এখনও পর্যন্ত কেউ সম্বোধন করেছে তা হ'ল ডেটা পয়েন্ট যুক্ত হওয়ার সাথে সাথে নিয়মিতকরণ পরামিতি- ধ্রুবক রাখা মনে হয় না। এর কারণ হ'ল সাধারণত নিয়মিতভাবে ডেটা পয়েন্টের সংখ্যার সাথে রৈখিকভাবে বৃদ্ধি পাবে, যখন নিয়মিতকরণের মেয়াদ করবে না। $\lambda$ ‖ λ β ‖ $\| X \beta -y \|^{2}$$\| \lambda\beta \|^{2}$

Comments

এটি একটি আকর্ষণীয় বিষয়। তবে ঠিক কেন এটি "বোধ হয় না"? ধ্রুবক রাখা অবশ্যই গাণিতিকভাবে বৈধ, সুতরাং "বুদ্ধিমান হবেন না" কোনও প্রকার পরিসংখ্যানিক প্রসঙ্গে বুঝতে হবে। তবে কী প্রসঙ্গে? কি ভুল হয়? কোনও ধরণের সহজ ফিক্স যেমন, স্কোয়ারের যোগফলকে গড় স্কোয়ারের সাথে প্রতিস্থাপনের মতো হতে পারে? $\lambda$

— শুক্র

স্কোলেড ভার্সনটি (উদাহরণস্বরূপ গড় স্কোয়ারড ত্রুটি) দিয়ে স্কোয়ারের যোগফলটি প্রতিস্থাপন করা অর্থপূর্ণ হবে, তবে কেবল পুনরাবৃত্তিযোগ্য কমপক্ষে স্কোয়ারগুলি ব্যবহার করলে তা পরিপূর্ণ হবে না।

— ব্রায়ান বোর্চারস

কি ভুল যেতে হবে হিসাবে, আপনার পছন্দ উপর নির্ভর করে , আপনি ডাটা পয়েন্টের সংখ্যক বা ডাটা পয়েন্টের অল্প সংখ্যক সঙ্গে একটি খুব overregularized সমাধান সঙ্গে একটি খুব underregularized সমাধান পেতে চাই। $\lambda$

— ব্রায়ান বোর্চারস

কেউ সন্দেহ করে যে, তবে যদি ডাটা পয়েন্ট পাওয়ার পরে প্রাথমিকভাবে টিউন করা হয় এবং তারপরে আরও ডেটা পয়েন্ট যুক্ত করা হয়, তবে আরও ডেটা পয়েন্ট এবং একই ফলে প্রাপ্ত সমাধানগুলি অতিরিক্ত -বা নিয়ন্ত্রিত কিনা তা নতুনগুলির উপর নির্ভর করবে datapoints। এই datapoints একটি বহুচলকীয় বন্টন থেকে একটি IID নমুনা, যে ক্ষেত্রে দেখা মত আচরণ অভিমানী দ্বারা বিশ্লেষন করা যায় এ সেট করা উচিত পর্যায়ে । এটি আপডেট করার সূত্রগুলিকে পরিবর্তন করবে, তবে এমন একটি নিয়মিত এবং সাধারণ উপায়ে যাতে দক্ষ গণনা এখনও সম্ভব। (+1)n λ λ এন / এন $\lambda$$n$$\lambda$$\lambda$$N/n$$N$

— শুক্রবার

Answer 3

সম্ভবত স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত কিছু এখানে কাজ করতে পারে। প্রাথমিক ডেটাসেটের উপরে আপনার সমীকরণটি ব্যবহার করে গণনা করুন ,, এটি আপনার প্রারম্ভিক অনুমান হবে। প্রতিটি নতুন ডেটা পয়েন্টের জন্য আপনি আপনার প্যারামিটারের প্রাক্কলন আপডেট করতে গ্রেডিয়েন্ট বংশোদ্ভূত এক ধাপ সম্পাদন করতে পারেন।$\hat{\beta}$

Comments

আমি তখন থেকেই বুঝতে পেরেছি যে এসজিডি (সম্ভবত মিনিব্যাচ) এই জাতীয় সমস্যার জন্য অর্থাত্ ফাংশন আনুমানিক আপডেট করা the

— rnoodle

Answer 4

লিনিয়ার রিগ্রেশন-এ, একটি সম্ভাবনা হ'ল কিউআর পচন সরাসরি আপডেট করা হচ্ছে , যা এখানে বর্ণিত হয়েছে । আমি অনুমান করি যে, প্রতিটি নতুন ডেটাপয়েন্ট যুক্ত হওয়ার পরে -পুনর্নির্মাণ করতে না চাইলে রিজ রিগ্রেশন দিয়ে খুব অনুরূপ কিছু করা যেতে পারে।$X$$\lambda$

Answer 5

উডবারি সূত্রটি ব্যবহারের তুলনায় এখানে একটি বিকল্প (এবং কম জটিল) পদ্ধতি রয়েছে। লক্ষ্য করুন এবং হিসেবে লেখা যেতে পারে অঙ্কের । যেহেতু আমরা অনলাইনে জিনিসগুলি গণনা করছি এবং যোগফলটি প্রসারিত হওয়া চাই না, তাই আমরা বিকল্পভাবে উপায়গুলি ( এবং ) ব্যবহার করতে পারি।$X^TX$$X^Ty$$X^TX/n$$X^Ty/n$

আপনি যদি এবং লিখেন তবে :$X$$y$

$$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$$

আমরা এবং ( তম সারি পর্যন্ত গণনা করা ) হিসাবে অনলাইন আপডেটগুলি লিখতে পারি :$X^TX/n$$X^Ty/n$$t$

$$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$$

$$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$$

আপনার online অনলাইন অনুমান তখন হয়ে যায়$\beta$

$$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$$

দ্রষ্টব্য যে এটি পর্যবেক্ষণগুলি যুক্ত করার সাথে সাথে ধ্রুবক হিসাবে থাকা বিশ্লেষণেও সহায়তা করে!$\lambda$

এই পদ্ধতিটি কীভাবে https://github.com/joshday/OnlineStats.jl লিনিয়ার / রিজ রিগ্রেশন সম্পর্কিত অনলাইন অনুমান গণনা করে।