স্টোকাস্টিক ম্যাট্রিক্সের জন্য স্পারসিটি-প্ররোচিত নিয়মিতকরণ

10

এটা তোলে সুপরিচিত যে (যেমন compressive সেন্সিং ক্ষেত্রে) $L_1$ আদর্শ হল "sparsity-inducing," অর্থে যে, আমরা যদি কমান কার্মিক (জন্য সংশোধন করা হয়েছে ম্যাট্রিক্স $A$ ও ভেক্টর $\vec{b}$ )

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$ বৃহৎ যথেষ্ট জন্য

λ > 0

$\lambda>0$ , আমরা অনেক পছন্দ জন্য সম্ভবত করছি

A

$A$ ,

\vec{b}

$\vec{b}$ এবং অনেক ঠিক-জিরো ফলে এন্ট্রিগুলির আছে ।

λ

$\lambda$

\vec{x}

$\vec{x}$

তবে আমরা যদি কে এই শর্ত সাপেক্ষে of এর এন্ট্রিগুলি ইতিবাচক এবং সমষ্টি হতে পারি তবে পদটির কোনও প্রভাব নেই (কারণ দ্বারা)। ফলস্বরূপ যে উত্সাহিত করতে এই ক্ষেত্রে কাজ করে এমন কোনও টাইপ আছে কি ? $f_{A,\vec{b}}$ $\vec{x}$ $1$ $L_1$ $\|\vec{x}\|_1=1$ $L_1$ $\vec{x}$

— জাস্টিন সলোমন
সূত্র

আপনি কি "তাহলে পদটির কোনও প্রভাব ফেলবে না (কারণ দ্বারা)" আপনি বিশদভাবে বলতে পারেন ?

L_{1}

$L_1$

| | x | |_{1} = 1

$||x||_1 = 1$

— ক্যাম.ড্যাভিডসন.পিলন

2

@ ক্যাম.ড্যাভিডসন.পিলন: এবং বোঝায় । :)

x_{i} \geq 0

$x_i \geq 0$

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$

‖ x ‖_{1} = 1

$\|x\|_1 = 1$

— কার্ডিনাল

1

জাস্টিন: আরও কিছু বিবরণ একটি দরকারী উত্তরে আরও ভাল সুযোগ দিতে পারে। আপনার বিবরণটি পড়ার সাথে সাথে এখানে কিছু প্রশ্ন রয়েছে যা অবিলম্বে উত্থাপিত হয়: ( 1 ) এই সমস্তটিতে "স্টোকাস্টিক ম্যাট্রিক্স" কোথায়? আপনি কেবল স্টোকাস্টিক ভেক্টর সম্পর্কিত একটি পরিস্থিতি বর্ণনা করছেন বলে মনে হচ্ছে । এগুলি কেবল আপনার স্টোকাস্টিক ম্যাট্রিক্সের স্বতন্ত্র সারি হতে পারে বা আরও বিশদ উপস্থিত থাকলে অন্য কাঠামো স্পষ্ট হয়ে উঠতে পারে। ( ২ ) আপনি চান যে সম্ভাবনাগুলি নিজেরাই অপ্রয়োজনীয়, বা সম্ভবত কোনও উপযুক্ত ভিত্তিতে বিরল হতে পারে? প্রথম হলে, কেন? (এটি কি কোনও ওজনযুক্ত (স্পার্স) গ্রাফের এলোমেলো পদচারনা?)

— কার্ডিনাল

আপনি কেন

এর এন্ট্রিগুলি ইতিবাচক হিসাবে প্রয়োজন ? পরিবর্তে আপনার উচিত হবে যে তারা ননজেগটিভ হবেন ? এছাড়াও, আপনি কি এই প্রতিবন্ধকতাটি দূর করার জন্য পুনরায় প্যারামিটারাইজিংয়ের কথা বিবেচনা করেছেন (ধরে নিলেন আপনার বোঝা অ-নেতিবাচক)? অন্য কথায়,

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

— jrennie

1

@jrennie: প্রসঙ্গ দেওয়া, দ্বারা ইতিবাচক জাস্টিন নিশ্চয় বোঝানো নন-নেগেটিভ ।

— কার্ডিনাল

2

বিরল সমাধান তৈরির জন্য একটি সাধারণ পদ্ধতি হ'ল এমএপি অনুমানের মাধ্যমে শূন্যের সাথে কোনও অজানা বৈকল্পিকের আগে স্বাভাবিক হয়।

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

তারপর আপনি নেবার পূর্বাধিকার ধার্য তাহলে যা শূন্য এ একটি মোড আছে তারপর অবর মোড সাধারণত বিক্ষিপ্ত হয়। একটি সূচকীয় মেশানো বন্টন গ্রহণ করে এই পদ্ধতির থেকে দেখা দেয় দুটো কারণে। $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

তাহলে তুমি পাও

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

কিছু বিকল্প হ'ল জেনারাইজড ডাবল পেরেটো, অর্ধেক সাবধানী, উল্টানো বিটা। কিছু দিক থেকে এগুলি লাসোর চেয়ে ভাল কারণ এগুলি বড় মানগুলি সঙ্কুচিত করে না। আসলে আমি দৃ sure়ভাবে নিশ্চিত যে জেনারালাইজড ডাবল পেরেটো এক্সপেনসিয়েন্টের মিশ্রণ হিসাবে লেখা যেতে পারে। এটি হ'ল আমরা লিখি এবং তারপরে একটি গামা পূর্বে রাখি । আমরা পেতে: $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

নোট করুন যে আমি স্থিরিকে স্থিতিশীল করার জন্য অন্তর্ভুক্ত করেছি, কারণ তারা ভাল গ্লোবাল প্যারামিটারগুলি বেছে নিতে সহায়তা করে। এখন আমরা যদি সীমাবদ্ধতার সীমাবদ্ধতা প্রয়োগ করি তবে আমাদের আরও জটিল সমস্যা রয়েছে, কারণ আমাদের সরলতমের উপর পুনর্নবীকরণ করতে হবে।

শাস্তি প্রদত্ত জরিমানার আর একটি সাধারণ বৈশিষ্ট্য হ'ল এগুলি শূন্যের সাথে পৃথক নয়। সাধারণত এটি কারণ বাম এবং ডান সীমা বিপরীত চিহ্নের হয়।

এটি নিকোলাস পোলসন এবং জেমস স্কট দ্বারা বৈকল্পিকের উপর মিশ্রিত উপস্থাপনাগুলির উজ্জ্বল কাজের উপর ভিত্তি করে তৈরি করা হয়েছে যা তারা টিআইআরএলএস বিকাশের জন্য ব্যবহার করে - ক্ষয়ক্ষতির সংমিশ্রণের খুব বড় শ্রেণীর সর্বনিম্ন বর্গক্ষেত্রের একটি বিস্তৃত আকার।

বিকল্প হিসাবে আপনি একটি পূর্ব ব্যবহার করতে পারেন যা সিমপ্লেক্সে সংজ্ঞায়িত হয়েছে তবে শূন্যে প্রান্তিক বিতরণে মোড রয়েছে। একটি উদাহরণ হল 0 থেকে 1 এর মধ্যে সমস্ত পরামিতি সহ ডারিচলেট বিতরণ The

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

যেখানে । তবে আপনাকে শাস্তি হিসাবে একচেটিয়াতা রয়েছে বলে সংখ্যাগতভাবে অনুকূলকরণে সতর্ক হওয়া দরকার। আরও শক্তিশালী অনুমান প্রক্রিয়াটি পোস্টেরিয়র গড় ব্যবহার করা। আপনি যথাযথ স্বল্পতা হারাতে পারলেও আপনি অনেকগুলি উত্তরোত্তর অর্থ পাবেন যা শূন্যের কাছাকাছি $0<a_i<1$

— probabilityislogic
সূত্র

এটি একটি খুব আকর্ষণীয় ধারণা বলে মনে হচ্ছে, যদিও আমরা বিশদটি বোঝার জন্য যথেষ্ট সজ্জিত নই! যদি আমি সঠিকভাবে বুঝতে পারি, ধারণাটি হল

পূর্বের ধারণাটি থেকে এসেছে যে ভেরিয়েবলগুলি 0 সম্পর্কে একটি সূচকীয় বিতরণ অনুসরণ করে So সুতরাং, আমাদের 0 এ কেন্দ্রিক একটি বিতরণ দরকার যা আমাদের ভেরিয়েবলগুলির জন্য আরও ভাল কাজ করে। কিন্তু, কোন স্পষ্ট বিজয়ী আছে, তাই না? "ইতিবাচক ভেরিয়েবলগুলি 1 এর সমষ্টি" এর উপরে বিতরণ রয়েছে? আপনার সাহায্যের জন্য ধন্যবাদ!

L_{1}

$L_1$

— জাস্টিন সলোমন

স্পারসিটি পেতে আপনার শূন্যের মোড সহ বিতরণ দরকার। এবং ডারিচলেট বিতরণটি সিম্পলেক্সের উপরে চলে গেছে, যা হ'ল সেই বিতরণগুলি যা সমান হয় 1 এবং অন্য সাধারণ শ্রেণিটি লজিস্টিক-নরমাল বা লজিস্টিক টি যেখানে আপনার

জন্য একটি সাধারণ / টি বিতরণ থাকে

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

— সম্ভাব্যতাবিরোধী

আহ, ডিরিচলেটটি বেশ আকর্ষণীয় বলে মনে হচ্ছে যে এটি যে সরলপ্লেসে আমরা আগ্রহী সে বিষয়ে এটি যেমন আপনি উল্লেখ করেছেন! দেখে মনে হচ্ছে যে আপনি দু'জন উল্লেখ করেছেন তারা

তে কিছু অসম্পূর্ণতার পরিচয় দিতে পারে ? আমার সহকর্মী এবং আমি আগামীকাল ডিরিচলেট দ্বারা সূচিত শক্তি ফাংশনটির মাধ্যমে কাজ করব এবং প্রতিবেদন করব! আপনার রোগী সহায়তার জন্য অনেক ধন্যবাদ এইভাবে - এটি আমাদের সাধারণ ক্ষেত্র থেকে অনেক দূরে তবে যদি আমরা এটির কাজ করতে পারি তবে ফলাফল জ্যামিতি প্রক্রিয়াজাতকরণে যথেষ্ট পদক্ষেপ নিতে পারে! [এবং অবশ্যই আমরা আপনাকে যথাযথ credit

x_{n}

$x_n$

— জাস্টিন সলোমন

1

দুটি বিকল্প:

জরিমানা ব্যবহার করুন । সুস্পষ্ট অসুবিধাটি হ'ল এটি ননকনভেক্স এবং তাই অনুকূলিত করা কঠিন। $L_0$ $\vec x$
পুনঃনির্ধারণ, এবং নতুন (প্রাকৃতিক) প্যারামিটার ভেক্টর, উপর একটি পেনাল্টি ব্যবহার। এটি ইভেন্টগুলি না হওয়ার উপযুক্ত কারণ না থাকলে সমান সম্ভাব্য হতে উত্সাহিত করবে। $x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

— jrennie
সূত্র

আপনি কীভাবে ব্যাখ্যা করতে পারেন যে আপনার পুনঃনির্মাণটি কীভাবে প্রসারিত করে? এটি বরং বিপরীত গ্যারান্টি বলে মনে হচ্ছে ।

— কার্ডিনাল

এটা sparsity উৎসাহিত

যার বিভিন্ন এন্ট্রি উত্সাহিত সাথে সঙ্গতিপূর্ণ

একই মান আছে।

\vec{w}

$\vec w$

\vec{x}

$\vec x$

— জের্নি

হ্যাঁ, আমি এটি বুঝতে পারি। তবে, সেই মানগুলি শূন্য হবে না। আমরা যদি ওপিটিকে আক্ষরিক অর্থে নিই তবে এটি সাহায্য করবে না এবং আসলে "আহত" হবে (এক অর্থে)। তবে, এটি সম্ভব যে ওপি অন্য কোনও ভিত্তিতে স্পন্দনে আগ্রহী, যে ক্ষেত্রে এটি তাদের মধ্যে অন্যতম হবে। :)

— কার্ডিনাল

\vec{x}

$\vec x$

w_{i}

$w_i$

- \infty

$-\infty$

1

$L_1$

$\lambda$

$\lambda$ $L_1$

— NRH
সূত্র

0

আমি তিনটি পদ্ধতি চিন্তা করতে পারি।

বয়েসিয়ান পদ্ধতি: প্যারামিটার এবং হাইপার প্যারামিটারগুলি অনুমান করার জন্য শূন্য-পূর্বের পূর্বে বিতরণ এবং দ্বিতীয় ধরণের ব্যবহারের সম্ভাবনা ব্যবহার করে।
$\Vert\cdot\Vert_{\infty}$
$-\sum_{i=1}\log x_i$

আসলে, প্রথম এবং তৃতীয় পদ্ধতি একই রকম

— হান ঝাং
সূত্র