সংক্ষিপ্তভাবে স্বল্প স্কোয়ারগুলির সংজ্ঞা এবং রূপান্তর

আমি নীচের ফর্মটির কার্যকারিতা হ্রাস করতে পুনরাবৃত্তভাবে স্বল্পতম স্কোয়ারগুলি (আইআরএলএস) ব্যবহার করেছি,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

যেখানে $N$ হ'ল এর উদাহরণগুলির সংখ্যা $x_i \in \mathbb{R}$ , $m \in \mathbb{R}$ আমি যে অনুমান করতে চাই তা $\rho$ হ'ল এবং একটি উপযুক্ত শক্তিশালী জরিমানা ফাংশন। আসুন যাক এটি উত্তল (যদিও প্রয়োজনীয়ভাবে কঠোরভাবে নয়) এবং আপাতত পৃথকযোগ্য। যেমন একটি একটি ভাল উদাহরণ $\rho$ হয় হুবার ক্ষতি ফাংশন ।

আমি যা করছি তা হ'ল $J(m)$ কে $m$ (এবং ম্যানিপুলেট করা) অর্জনের জন্য আলাদা করা ,

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

এবং iteratively এই এটি সেটিং দ্বারা এই সমাধানে 0 সমান এবং পুনরাবৃত্তির এ ওজন স্থাপন $k$ করার $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ (নোট যে অনুভূত একতা $x_i=m{(k)}$ সত্যিই সব একটি অপসারণযোগ্য একতা হয় $\rho$ 's আমি যত্ন সম্পর্কে পারে)। তারপর আমি প্রাপ্ত,

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

এবং আমি, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ ।

আমি এই স্থির পয়েন্ট অ্যালগরিদম "কনভার্জেন্স" না হওয়া পর্যন্ত পুনরাবৃত্তি করি। আমি লক্ষ করব যে আপনি যদি একটি নির্দিষ্ট পয়েন্টে পৌঁছান তবে আপনি অনুকূল, কারণ আপনার ডেরাইভেটিভ 0 এবং এটি একটি উত্তল ফাংশন।

এই পদ্ধতি সম্পর্কে আমার দুটি প্রশ্ন রয়েছে:

এটি কি আদর্শ আইআরএলএস অ্যালগরিদম? বিষয়টিতে বেশ কয়েকটি কাগজপত্র পড়ার পরে (এবং তারা খুব ছড়িয়ে ছিটিয়েছিল এবং আইআরএলএস কী তা সম্পর্কে অস্পষ্ট ছিল) এটি আমি খুঁজে পাওয়া আলগোরিদিমটির সর্বাধিক ধারাবাহিক সংজ্ঞা। লোকেরা চাইলে আমি কাগজপত্র পোস্ট করতে পারি, তবে আমি আসলে এখানে কাউকে পক্ষপাতিত্ব করতে চাইনি। অবশ্যই, আপনি এই মৌলিক কৌশলটি ভেক্টর $x_i$ এর এবং অন্যান্য যুক্তিগুলির সাথে জড়িত অন্যান্য অনেক ধরণের সমস্যায় সাধারণীকরণ করতে পারেন $\left|x_i-m{(k)}\right|$ , যুক্তি সরবরাহ করা আপনার প্যারামিটারগুলির একটি অ্যাফাইন ফাংশনের একটি আদর্শ। কোনও সহায়তা বা অন্তর্দৃষ্টি এটি দুর্দান্ত হবে।
রূপান্তরটি অনুশীলনে কাজ করে বলে মনে হচ্ছে তবে এটি সম্পর্কে আমার কয়েকটি উদ্বেগ রয়েছে। আমি এর প্রমাণ দেখতে পাইনি। কিছু সহজ মতলব সিমিউলেশন আমি জানি ইনি এক পুনরাবৃত্তির হওয়ার পর একটি না সংকোচন ম্যাপিং (আমি দুই র্যান্ডম দৃষ্টান্ত উত্পন্ন $m$ এবং কম্পিউটিং $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$ এবং দেখেছি এটি মাঝে মাঝে 1 এর চেয়ে বেশি হয়। এছাড়াও বেশ কয়েকটি ধারাবাহিক পুনরাবৃত্তি দ্বারা সংজ্ঞায়িত ম্যাপিং কঠোরভাবে সংকোচনের ম্যাপিং নয়, তবে লিপস্টিৎজ ধ্রুবক 1 এর উপরে হওয়ার সম্ভাবনা খুব কম হয়। সুতরাংসম্ভাব্যতা মধ্যে সংকোচনের ম্যাপিংএকটি ধারণা আছে? এটি রূপান্তরিত করে তা প্রমাণ করার জন্য আমি কোন যন্ত্রপাতিটি ব্যবহার করব? এটি কি একত্রিত হয়?

যে কোনও নির্দেশিকা সহায়ক।

সম্পাদনা করুন: ডাউবিচিজ এট আল দ্বারা বিরল পুনরুদ্ধার / সংবেদনশীল সংবেদনের জন্য আমি আইআরএলএসে কাগজটি পছন্দ করি। ২০০৮ "আরএক্সআইভিতে স্বল্প পুনর ওজনযুক্ত স্বল্প স্কোয়ার্স মিনিমাইজেশন ফর স্পার্স রিকভারি"। তবে এটি বেশিরভাগ ননকনভেক্স সমস্যার জন্য ওজনকে কেন্দ্র করে বলে মনে হচ্ছে। আমার ক্ষেত্রে যথেষ্ট সহজ।

— ক্রিস এ।
সূত্র

আইআরডাব্লুএলএস- এর উইকি পৃষ্ঠার দিকে তাকানো আপনার বর্ণিত পদ্ধতি এবং আইআরডাব্লুএলএসের মধ্যে পার্থক্যের সাথে লড়াই করে যাচ্ছি (তারা কেবলমাত্র

ব্যবহার করে

তাদের নির্দিষ্ট

ফাংশন হিসাবে)। আপনার প্রস্তাবিত অ্যালগরিদমটিকীভাবে আইআরডাব্লুএলএস থেকেআলাদাবলে আপনি ব্যাখ্যা করতে পারেন?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— ব্যবহারকারী 60

আমি কখনই বলিনি যে এটি আলাদা ছিল, এবং আমি যদি তা বোঝায় তবে আমার তা বোঝানো হয়নি।

— ক্রিস এ।

আপনার প্রথম প্রশ্নের হিসাবে, একজনের "মানক" সংজ্ঞায়িত করা উচিত, বা স্বীকার করতে হবে যে একটি "আধ্যাত্মিক মডেল" ধীরে ধীরে প্রতিষ্ঠিত হয়েছে। একটি মন্তব্য হিসাবে নির্দেশিত হিসাবে, এটি অন্তত প্রদর্শিত হবে যে আপনি আইআরডাব্লুএলএস ব্যবহার করার উপায়টি বরং মানক।

আপনার দ্বিতীয় প্রশ্নের হিসাবে, "সম্ভাব্যতার মধ্যে সংকোচনের ম্যাপিং" "পুনরাবৃত্ত স্টোকাস্টিক অ্যালগরিদম" এর রূপান্তরিত করার জন্য (তবে অনানুষ্ঠানিকভাবে) লিঙ্ক করা যেতে পারে। আমি যা পড়েছি তা থেকে মূলত ইঞ্জিনিয়ারিংয়ে এই বিষয়টিতে একটি বিশাল সাহিত্য রয়েছে। অর্থনীতিতে, আমরা এর একটি সামান্য বিট ব্যবহার করি, বিশেষত লেনার্ট লজুং-এর প্রথম পত্রিকাটি ছিল লজুং (1977) - যা দেখায় যে একটি পুনরাবৃত্ত স্টোকাস্টিক অ্যালগরিদমের স্থিতিশীলতা দ্বারা নির্ধারিত হতে পারে (বা না) সম্পর্কিত) সাধারণ ডিফারেনশিয়াল সমীকরণের নয়।

(মন্তব্যগুলিতে ওপির সাথে কার্যকর আলোচনার পরে নিম্নলিখিতটি পুনরায় কাজ করা হয়েছে)

অভিসৃতি

আমি রেফারেন্স হিসাবে Saber Elaydi ব্যবহার করব "পার্থক্য সমীকরণের একটি ভূমিকা", 2005, 3 ডি এডি। বিশ্লেষণটি প্রদত্ত কিছু ডেটা নমুনায় শর্তযুক্ত, সুতরাং $x's$ স্থির হিসাবে বিবেচিত হবে।

, পুনরাবৃত্ত ফাংশন হিসাবে দেখানো উদ্দেশ্য ফাংশনটি হ্রাস করার জন্য প্রথম আদেশের শর্ত $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

একটি নির্দিষ্ট পয়েন্ট আছে (উদ্দেশ্য ফাংশনের argmin)। ইলেদীর থিমের 1.13 পিপি 27-28 দ্বারা, যদি এর আরএইচএসের সাথে সম্মিলিতভাবে প্রথম ডাইরিভেটিভ, স্থির বিন্দু এ মূল্যায়ন করা হয় , তবে এটিকে বোঝায় , পরম মানের একতার চেয়ে ছোট তারপর, হয় এসিম্পটোটিকভাবে স্থিতিশীল (আঃ)। থিওরেম ৪.৩ পি পি .1৯৯ এর অধীনে আমাদের কাছে এটিও বোঝায় যে স্থির বিন্দুটি সমানভাবে AS (ইউএএস) হয়। "অ্যাসিপোটোটিক্যালি স্ট্যাবিল" অর্থ হ'ল স্থির বিন্দুর আশেপাশের কয়েকটি মানের জন্য, একটি প্রতিবেশী $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
, আকারে অগত্যা ছোট নয়, নির্দিষ্ট পয়েন্টটিআকর্ষণীয়এবং তাই যদি অ্যালগরিদম এই আশেপাশে মান দেয় তবে এটি রূপান্তরিত হবে। সম্পত্তি "ইউনিফর্ম" হওয়ার অর্থ, এই পাড়ার সীমানা, এবং এর ফলে এর আকারটি অ্যালগরিদমের প্রাথমিক মানের থেকে পৃথক। নির্দিষ্ট বিন্দু হয়েবিশ্বব্যাপীUAS, যদি । সুতরাং আমাদের ক্ষেত্রে, যদি আমরা প্রমাণ করি $(m^* \pm \gamma)$ $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

আমরা ইউএএস সম্পত্তি প্রমাণিত করেছি, তবে বৈশ্বিক রূপান্তর ছাড়াই। তারপরে আমরা হয় তা প্রতিষ্ঠিত করার চেষ্টা করতে পারি যে আকর্ষণটির প্রতিবেশটি আসলে সম্পূর্ণ বর্ধিত আসল সংখ্যা, বা, যে নির্দিষ্ট প্রারম্ভিক মানটি মন্তব্যগুলিতে উল্লিখিত হিসাবে ব্যবহার করে (এবং এটি আইআরএলএস পদ্ধতিতে আদর্শ), অর্থাৎ নমুনাটির অর্থ এর এর, , সবসময় নির্দিষ্ট বিন্দুর আকর্ষণ আশপাশ জন্যে। $x$ $\bar x$

আমরা ডেরাইভেটিভ গণনা

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$ Then

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

and

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

we have

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Inserting this into $[3]$ we have

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

This is the condition that must be satisfied for the fixed point to be UAS. Since in our case the penalty function is convex, the sums involved are positive. So condition $[4]$ is equivalent to

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

If $\rho(|x_i-m|)$ is Hubert's loss function, then we have a quadratic ( $q$ ) and a linear ( $l$ ) branch,

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

and

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Since we do not know how many of the $|x_i-m^*|$ 's place us in the quadratic branch and how many in the linear, we decompose condition $[5]$ as ( $N_q + N_l = N$ )

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

which holds. So for the Huber loss function the fixed point of the algorithm is uniformly asymptotically stable, irrespective of the $x$ 's. We note that the first derivative is smaller than unity in absolute value for any $m$ , not just the fixed point.

What we should do now is either prove that the UAS property is also global, or that, if $m(0) = \bar x$ then $m(0)$ belongs to the neighborhood of attraction of $m^*$ .

— Alecos Papadopoulos
সূত্র

Thanks for the response. Give me some time to analyze this answer.

— Chris A.

Certainly. After all, the question waited 20 months.

— Alecos Papadopoulos

Yeah, I was reminded of the problem and decided to put up a bounty. :)

— Chris A.

Lucky me. I wasn't there 20 months ago - I would have taken up this question, bounty or not.

— Alecos Papadopoulos

Thanks so much for this response. It's looking like, so far, that you've earned the bounty. BTW, your indexing on the derivative of

v_{i}

$v_i$ w.r.t

m

$m$ is notationally weird. Couldn't the summations on the second line of this use another variable, such as

j

$j$ ?

— Chris A.