স্বাধীনতা এবং ইনপুট ম্যাট্রিক্সের ডিগ্রি দেওয়া রিজ রিগ্রেশনগুলিতে নিয়মিতকরণ পরামিতি কীভাবে গণনা করবেন?

11

যাক একজন হতে স্বাধীন ভেরিয়েবল ম্যাট্রিক্স এবং B সংশ্লিষ্ট হতে নির্ভরশীল মূল্যবোধের ম্যাট্রিক্স। শৈলশিরা রিগ্রেশন, আমরা একটি প্যারামিটার নির্ধারণ যাতে করে: । এখন [usv] = এসভিডি (এ) এবং '' s 'এর তির্যক প্রবেশ entry আমরা স্বাধীনতা (df প্রয়োগ) ডিগ্রী = সংজ্ঞায়িত । রিজ রিগ্রেশন কম ভেরিয়েন্স উপাদানগুলির সহগকে সঙ্কুচিত করে এবং তাই প্যারামিটার স্বাধীনতার ডিগ্রি নিয়ন্ত্রণ করে সুতরাং $n \times p$ $n \times 1$ $\lambda$ $\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$ $d_{i}=i^{th}$ $\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$ $\lambda$ $\lambda=0$ , যা সাধারণ রিগ্রেশন, ডিএফ = এন এর ক্ষেত্রে এবং তাই সমস্ত স্বতন্ত্র ভেরিয়েবল বিবেচিত হবে। সমস্যা আমি সম্মুখীন হচ্ছি মান খুঁজে পেতে প্রদত্ত 'df প্রয়োগ' এবং ম্যাট্রিক্স 'S'। আমি উপরের সমীকরণটি পুনরায় সাজানোর চেষ্টা করেছি কিন্তু বন্ধ ফর্মের সমাধান পাচ্ছি না। দয়া করে কোনও সহায়ক পয়েন্টার সরবরাহ করুন। $\lambda$

ridge-regression

— অমিত
সূত্র

ঠিক আছে এর উত্তর দেওয়ার জন্য আমার সময় প্রয়োজন (সম্ভবত অন্যরা আপনাকে সহায়তা করার জন্য দ্রুততর হবে), তবে বেশিরভাগ অন্তর্দৃষ্টি স্টাটস.এলস.উম.ইচ.ইডু / শেকসডেন / কোর্সেস / স্ট্যাট 6০০ / নোটস / ৮ থেকে নেওয়া যেতে পারে এবং এর সংজ্ঞায় কী? স্বাধীনতার ডিগ্রি, যেহেতু আমি কোনওভাবে মিস করি ।

k

$k$

λ

$\lambda$

— দিমিত্রিজ সেলভ

@ দিমিত্রিজ: উত্তরের জন্য ধন্যবাদ, আমি প্রশ্নগুলি আপডেট করেছি, এবং 'কে' এর সাথে দিয়েছি

λ

$\lambda$

— অমিত

হাই অমিত, আপনি কীভাবে জানতে পারবেন যে নিয়মিতকরণ পরামিতি গণনা করার আগে স্বাধীনতার ডিগ্রিগুলি কী?

— বাজ

9

একটি নিউটন-রাফসন / ফিশার-স্কোরিং / টেলর-সিরিজের অ্যালগরিদম এটি উপযুক্ত হবে to

আপনার কাছে সাথে ডেরিভেটিভ তারপরে আপনি পাবেন: $\lambda$

h (λ) = \sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} - d f = 0

$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$

\frac{\partial h}{\partial λ} = - \sum_{i = 1}^{p} \frac{d_{i}^{2}}{(d_{i}^{2} + λ)^{2}}

$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$

h (λ) \approx h (λ^{(0)}) + (λ - λ^{(0)}) \frac{\partial h}{\partial λ} |_{λ = λ^{(0)}} = 0

$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$

get আপনি পুনরায় সাজানোর জন্য পাবেন: This এটি পুনরাবৃত্ত অনুসন্ধান সন্ধান করে। প্রাথমিক শুরুর মান জন্য, অনুমান সঙ্কলন করুন, তারপরে আপনি পেতে । $\lambda$

λ = λ^{(0)} - {[\frac{\partial h}{\partial λ} |_{λ = λ^{(0)}}]}^{- 1} h (λ^{(0)})

$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$

d_{i}^{2} = 1

$d^{2}_{i}=1$

λ^{(0)} = \frac{p - d f}{d f}

$\lambda^{(0)}=\frac{p-df}{df}$

λ^{(j + 1)} = λ^{(j)} + {[\sum_{i = 1}^{p} \frac{d_{i}^{2}}{(d_{i}^{2} + λ^{(j)})^{2}}]}^{- 1} [\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ^{(j)}} - d f]

$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$

এটি সঠিক দিকে "যায়" ( সমষ্টি খুব বড় হলে বৃদ্ধি , খুব ছোট হলে এটি হ্রাস করুন) এবং সাধারণত সমাধান করতে কয়েকটি পুনরাবৃত্তি লাগে takes আরও ফাংশনটি একঘেয়ে (হ'ল লম্বদা সর্বদা হ্রাস / বৃদ্ধি করবে), যাতে এটি অনন্যরূপে রূপান্তরিত হয় (কোনও স্থানীয় ম্যাক্সিমার নয়)। $\lambda$ $\lambda$

— probabilityislogic
সূত্র

অনেক অনেক, তবে আমার সন্দেহ আছে যে আমাদের কেন ধরে নেওয়া দরকার , যেহেতু আমাদের ইতিমধ্যে তাদের সঠিক মান রয়েছে ... আমি একটি মাতলাব কোড লিখে এই সূত্রটি পরীক্ষা করে দেখেছি এবং এই ধারণাটি গ্রহণ করি নি , তবে এটি সূক্ষ্মভাবে কাজ করে এবং সঠিক সমাধান দেয়

d_{i}^{2} = 1

$d_{i}^2=1$

— অমিত

অনুমানটি কেবলমাত্র value initial "যথেষ্ট পরিমাণে" সঠিক মানটির প্রাথমিক মান পেতে হয়। আপনার যদি আরও ভাল অনুমান হয় তবে এটি দিয়ে শুরু করুন। আপনি এমনকি সবেমাত্র সেট করতে পারেন যতক্ষণ না আপনার ডি এর শূন্যের চেয়ে বেশি are ডি’র পুনরাবৃত্তিতে 1 টি ধরা হয় না, কেবল অ্যালগোরিদম শুরু করতে।

λ^{(0)}

$\lambda^{(0)}$

λ^{(0)} = 0

$\lambda^{(0)}=0$

— সম্ভাব্যতাব্লোগিক

(+1) আমি যাই হোক না কেন একই সংখ্যার সমাধান দেব give

— দিমিত্রিজ সেলভ

6

সম্ভাব্যতা ব্লগ দ্বারা প্রমাণিত সূত্রের ভিত্তিতে এখানে ছোট মাতলাব কোড রয়েছে:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end

— অমিত
সূত্র

2

দলে যাও!

— সম্ভাব্যতা ব্লগ 13

একটি চেষ্টা করা সম্পাদক যুক্তি দেখান যে সময় শর্ত হওয়া উচিত while ( abs(diff)>threshold )।

— গুং - মনিকা পুনরায়

আমি @ অমিতের পোস্টকৃত কোডের বিকল্প উত্তর হিসাবে এটি পোস্ট করছি। আমি প্রস্তাব দিচ্ছি যে প্রান্তিকের সাথে তুলনাটি while( abs(diff) > threshold )বাম এবং ডান উভয় দিক থেকে পৌঁছানো উচিত কারণ পার্থক্যের জন্য সহনশীলতাটি পৌঁছানো উচিত। উদাহরণস্বরূপ আসুন আমরা ডিফ = এবং প্রান্তিক = say বলি তবে লুপের শর্তটি মিথ্যা, তবে স্পষ্টতই সমাধানটি রূপান্তরিত হয়নি।

- 100

$-100$

1 e^{- 16}

$1e^{-16}$

— হুরিস্টিক ওয়ান্ডারিং