টিখোনভ নিয়মিতকরণ কি রিজ রিগ্রেশন-এর মতো?

Question

টিখনোভ নিয়মিতকরণ এবং রিজ রিগ্রেশন এমন শব্দগুলি প্রায়শই ব্যবহৃত হয় যেমন তারা অভিন্ন। পার্থক্যটি কী তা নির্দিষ্ট করে বলা সম্ভব?

Answer 1

টিখোনভ নিয়মিতকরণ হ'ল রিজ রিগ্রেশন এর চেয়ে বড় সেট। তারা কীভাবে পৃথক হয় ঠিক তা বানান করার জন্য আমার চেষ্টা এখানে।

মনে করুন যে একটি পরিচিত ম্যাট্রিক্স এবং ভেক্টর আমরা একটি ভেক্টর যেমন খুঁজে পেতে চাই :খ $A$$b$$\mathbf{x}$

$A\mathbf{x}=\mathbf{b}$ ।

স্ট্যান্ডার্ড পদ্ধতিটি হল সর্বনিম্ন স্কোয়ারের লিনিয়ার রিগ্রেশন। যাইহোক, যদি কোনও সমীকরণকে সন্তুষ্ট না করে বা একাধিক করে - তবে এটি সমাধানটি অনন্য নয় said বলা হয় যে সমস্যাটি উদ্বেগযুক্ত। সাধারণ ন্যূনতম স্কোয়ারগুলি বর্গক্ষেত্রের অবশিষ্টাংশের যোগফলকে হ্রাস করতে চায়, যা নিখরচায় লেখা যেতে পারে:$x$$x$

$\|A\mathbf{x}-\mathbf{b}\|^2$

যেখানে $\left \| \cdot \right \|$ইউক্লিডিয়ান রীতি ম্যাট্রিক্স স্বরলিপিটিতে সমাধানটি, \ টুপি {x by দ্বারা চিহ্নিত করা $\hat{x}$হয়:

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

তিকনভ নিয়মিতকরণ হ্রাস পায়

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

কিছু জন্য উপযুক্তভাবে বেছে নেওয়া Tikhonov ম্যাট্রিক্স, am । একটি স্পষ্ট ম্যাট্রিক্স ফর্ম সমাধান, by দ্বারা বোঝানো হয়েছে:$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

নিয়মিতকরণের প্রভাব ম্যাট্রিক্স স্কেলের মাধ্যমে পরিবর্তিত হতে পারে । জন্য \ গামা = 0 এই শর্তে যে (একটি unregularized লিস্ট স্কোয়ার সমাধান হ্রাস ^টি ক) ^-1 বিদ্যমান।Γ = $\Gamma$$\Gamma = 0$

সাধারণত রিজ রিগ্রেশন এর জন্য , টিখনোভ নিয়মিতকরণ থেকে দুটি বিস্তারের বর্ণনা দেওয়া হয়। প্রথমত, টিখোনভ ম্যাট্রিক্সটি পরিচয় ম্যাট্রিক্সের একাধিক দ্বারা প্রতিস্থাপিত হয়

$\Gamma= \alpha I$ ,

ক্ষুদ্রতর আদর্শ, যেমন, আদর্শের সাথে সমাধানগুলিতে অগ্রাধিকার দেওয়া । তারপর হয়ে নেতৃস্থানীয়Γ টি Γ α 2$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

পরিশেষে, রিজ রিগ্রেশন-এর জন্য, সাধারণত এটি ধরে নেওয়া হয় যে ভেরিয়েবলগুলি ছোট করে দেওয়া হবে যাতে সাথে সম্পর্কযুক্ত ম্যাট্রিক্সের আকার থাকে। এবং মধ্যে পারস্পরিক ভেক্টর হয় ভেরিয়েবল এবং , এর নেতৃস্থানীয়এক্স টি এক্স এক্স টি খ এক্স $A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

এই ফর্মটি Lagrange, গুণক নোট সাধারণত দ্বারা প্রতিস্থাপিত হয় , , অথবা অন্য প্রতীক কিন্তু সম্পত্তি বজায় কে λ λ ≥ $\alpha^2$$k$$\lambda$$\lambda\geq0$

এই উত্তরটি তৈরি করার সময়, আমি উইকিপিডিয়া থেকে এবং ট্রান্সফার ফাংশন ওজনের রিজ অনুমান থেকে উদারভাবে orrowণ গ্রহণকে স্বীকার করি

Comments

(+1) সম্পূর্ণতার জন্য, এটি উল্লেখযোগ্য যে ব্যবহারিক প্রয়োগে নিয়মিত পদ্ধতি সাধারণত ফর্মটিতে লেখা হবে , যা পরে স্ট্যান্ডার্ড রৈখিক সর্বনিম্ন স্কোয়ার সমস্যা হিসাবে সমাধান করা যায় (যেমন QR / SVD এর মাধ্যমে , স্পষ্টভাবে সাধারণ সমীকরণ গঠন না করে)। $\begin{bmatrix}A\\ \alpha \Gamma\\ \end{bmatrix}x\approx\begin{bmatrix}b\\0\\ \end{bmatrix}\implies \hat{A}x\approx \hat{b}$$\hat{A}$

— জিওম্যাটট22

ভাল যুক্তি. আমি পরে এটি যোগ করব।

— কার্ল

স্মুথিং স্প্লাইজগুলি এবং একই ভিত্তিতে সম্প্রসারণের পদ্ধতিগুলি কি টিখনভ নিয়মিতকরণের একটি উপসেট?

— সাইকোরাক্স

@ সাইকোরাক্স আমি এটির আশা করি না। উদাহরণস্বরূপ, একটি বি-স্প্লাইন শেষ পয়েন্টগুলিতে শূন্যের সাথে ডেরিভেটিভস সেট করবে এবং ডেরিভেটিভস এবং স্প্লিনের দৈর্ঘ্যের সাথে শেষ পয়েন্টগুলির মধ্যে ডেটার সাথে মেলে। টিখনভ নিয়মিতকরণ আপনি ফিটের opeালু পরিবর্তন করে যা কিছু প্যারামিটার ত্রুটি বলবেন তা হ্রাস করবে। সুতরাং, বিভিন্ন জিনিস।

— কার্ল

এছাড়াও, টিচোনভ নিয়মিতকরণের (পৃথক?) হিলবার্ট স্পেসগুলির জন্য স্বেচ্ছাসেবী মাত্রাগুলিতে একটি সূত্র রয়েছে

— এআইএম_বিএলবি

Answer 2

কার্ল একটি সূক্ষ্ম উত্তর দিয়েছেন যা টিখোনভ নিয়মিতকরণ বনাম রিজ রিগ্রেশন-এর মধ্যে গাণিতিক পার্থক্যকে সুন্দরভাবে ব্যাখ্যা করেছে। এখানে historicalতিহাসিক আলোচনায় অনুপ্রাণিত হয়ে আমি ভেবেছিলাম যে আরও সাধারণ টিখোনভ কাঠামো কীভাবে কার্যকর হতে পারে তা প্রমাণ করে একটি সংক্ষিপ্ত উদাহরণ যুক্ত করা কার্যকর হবে।

প্রথমে প্রসঙ্গে একটি সংক্ষিপ্ত নোট রিজ রিগ্রেশন পরিসংখ্যানগুলিতে উত্থাপিত হয়েছিল, এবং এখন যখন পরিসংখ্যান ও মেশিন লার্নিংগুলিতে নিয়মিতকরণ বিস্তৃত হয়েছে, তিখোনভের দৃষ্টিভঙ্গিটি মূলত মডেল-ভিত্তিক ডেটা সংমিশ্রণে উদ্ভূত বিপরীত সমস্যাগুলি দ্বারা উদ্ভূত হয়েছিল (বিশেষত ভূ - প্রকৃতিতে )। নীচের সরলীকৃত উদাহরণটি এই বিভাগে রয়েছে (আরও জটিল সংস্করণগুলি প্যালিওক্লিমেট পুনর্গঠনের জন্য ব্যবহৃত হয় )।

---

কল্পনা করুন যে আমরা বর্তমানের পরিমাপ উপর ভিত্তি করে অতীতে তাপমাত্রা পুনর্গঠন করতে চাই । আমাদের সরলীকৃত মডেলটিতে আমরা ধরে নেব যে তাপমাত্রা সমীকরণের সমীকরণ পর্যায়ক্রমিক সীমানা অবস্থার সাথে 1 ডি বিকশিত হয় একটি সরল (স্পষ্ট) সীমাবদ্ধ পার্থক্য পদ্ধতির পৃথক মডেল গাণিতিকভাবে, বিবর্তন ম্যাট্রিক্স , সুতরাং আমাদের কাছে তবে সংখ্যায়আপনি $u[x,t=0]$ইউ টি = ইউ এক্স এক্স ইউ [ এক্স + এল , টি ] = ইউ [ এক্স , টি ] Δ $u[x,t=T]$

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ এ ইউ টি = এ - 1 ইউ টি + 1 $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ , সময় ব্যবধান খুব দীর্ঘ হলে অসুবিধা দেখা দেয় ।$T$

টিখনভ নিয়মিতকরণ এই সমস্যাটি যা ছোট শাস্তি যোগ বন্ধুরতা উপর । ω2≪1ইউx

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

নীচে ফলাফলের তুলনা করা হল:

আমরা দেখতে পারি যে মূল তাপমাত্রা একটি মসৃণ প্রফাইল, যা এখনও দিতে আশ্লেষ আরো মসৃণ রয়েছে । ডাইরেক্ট ইনভার্সনটি পুনরুদ্ধার করতে ব্যর্থ হয় এবং the সমাধান শক্তিশালী "চেকারবোর্ডিং" শিল্পকর্মগুলি দেখায় । তবে টিখোনভ সমাধান বেশ ভাল নির্ভুলতার সাথে পুনরুদ্ধার করতে সক্ষম ।$u_0$ তোমার দর্শন লগ করা 0 U আমি এন ভি U R ই ছ তোমার দর্শন লগ করা $u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$$u_0$

মনে রাখবেন যে এই উদাহরণে, রিজ রিগ্রেশন সর্বদা আমাদের সমাধানটিকে "বরফ যুগ" (অর্থাৎ অভিন্ন শূন্য তাপমাত্রার) দিকে চাপিয়ে দেবে। Tikhonov রিগ্রেশন আমাদের একটি নমনীয় পারবেন শারীরিকভাবে ভিত্তিক পূর্বে বাধ্যতা: এখানে আমাদের শাস্তি মূলত বলছেন পুনর্গঠন নব্য শুধুমাত্র ধীরে ধীরে হওয়া উচিত, অর্থাত ।U টি ≈ $\mathbf{u}$$u_t\approx{0}$

---

উদাহরণস্বরূপ মতলব কোডটি নীচে ( এখানে অনলাইনে চালানো যেতে পারে )।

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');

Comments

সমস্ত প্রশংসা উষ্ণভাবে গ্রহণ। এটি সামান্য উল্লেখযোগ্য বিষয় হলেও, তিখনভ নিয়মিতকরণ এবং রিজ রিগ্রেশন উভয়ই শারীরিক প্রতিরোধের লক্ষ্যগুলি লক্ষ্য করার জন্য ব্যবহার করা যেতে পারে। (+1)

— কার্ল

@ কার্ল এটি অবশ্যই সত্য। এমনকি আমরা এখানে ভ্যারিয়েবলগুলি পরিবর্তন করে ব্যবহার করতে পারি ! (সাধারণভাবে, একটি $v=Lu$

— অবিচ্ছিন্ন তিখনোভ