কনজুগেট গ্রেডিয়েন্টের সবচেয়ে খারাপ ক্ষেত্রে জটিলতা কী?

9

দিন $A\in \mathbb{R}^{n\times n}$ , প্রতিসম এবং ধনাত্মক সুনির্দিষ্ট। মনে করুন এটি লাগে $m$ ভেক্টর দ্বারা গুন করার জন্য কাজের ইউনিট $A$ । এটি সুপরিচিত যে সিজি অ্যালগরিদম সম্পাদন করছেন $A$ শর্ত নম্বর সহ $\kappa$ প্রয়োজন $\mathcal{O} (m\sqrt{\kappa})$ , কাজের ইউনিট।

এখন অবশ্যই একটি হচ্ছে $\mathcal{O}$ বিবৃতি এটি একটি উপরের সীমাবদ্ধ। এবং সিজি অ্যালগরিদম সর্বদা ভাগ্যবান প্রাথমিক অনুমানের সাথে শূন্য পদক্ষেপে শেষ করতে পারে।

আমরা কি জানি যে কোনও আরএইচএস এবং প্রাথমিক (দুর্ভাগ্য) অনুমান রয়েছে যা প্রয়োজন হবে $\mathcal{\Theta}(\sqrt{\kappa})$ পদক্ষেপ? আরেকটি উপায় রাখুন, এটি হ'ল সত্যই সিজি-র সবচেয়ে জটিল পরিস্থিতি $\Theta( m \sqrt{\kappa})$ ?

এই প্রশ্নটি উত্থাপিত হয় যখন আমি কোনও পূর্বশর্তীর সুবিধা (কম হয়) তা নির্ধারণ করার চেষ্টা করি $\kappa$ ) এর মূল্য ছাড়িয়ে গেছে (বেশি) $m$ )। এই মুহুর্তে, আমি খেলনা সমস্যা নিয়ে কাজ করছি এবং সংকলিত ভাষায় কিছু প্রয়োগ করার আগে আমি আরও ভাল ধারণা পেতে চাই।

conjugate-gradient

— ফ্রেড
সূত্র

5

আপনি সম্ভবত সিজি অ্যালগরিদম "পিছনের দিকে" চালিয়ে এবং প্রতিটিটির মধ্যে যথাযথ শক্তি প্রয়োগ করে একটি প্রাকৃতিক প্রাথমিক অনুমান তৈরি করতে পারেন

A

$A$ -অর্থগোনাল অনুসন্ধানের নির্দেশাবলী যে অ্যালগরিদম সমস্ত পদক্ষেপ প্রয়োজন requires

— অরিজিম্বো

9

উত্তরটি হ'ল একটি দুর্দান্ত শব্দ। সমাকলনের হারের সীমাবদ্ধ $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ শর্ত সংখ্যার সাথে প্রতিসম ধনাত্মক সুনির্দিষ্ট ম্যাট্রিকগুলির সেটের চেয়ে তীক্ষ্ণ $\kappa$ । অন্য কথায়, সম্পর্কে কিছুই জেনে $A$ এর শর্ত সংখ্যাটির চেয়ে সিজি সত্যিই নিতে পারে $\sim\sqrt{\kappa}$ পুনরাবৃত্তি রূপান্তর। স্বাচ্ছন্দ্যে বললে, উপরের দিকের সীমানাটি যদি পাওয়া যায় তবে এর আইভ্যালুগুলি $A$ শর্ত সংখ্যার বিরতিতে সমানভাবে বিতরণ করা হয় (অর্থাত্ "পেপার্ডড") $\kappa$ ।

এখানে আরও কঠোর বিবৃতি দেওয়া হয়েছে। নির্ধারিত সংস্করণগুলি আরও জড়িত তবে একই নীতিগুলি ব্যবহার করে কাজ করে।

উপপাদ্য (সবচেয়ে খারাপ ক্ষেত্রে পছন্দ) $A$ )। যেকোন র্যান্ডম অर्थোগোনাল ম্যাট্রিক্স বাছুন $U$ , দিন $\lambda_1,\ldots,\lambda_n$ থাকা $n$ আসল সংখ্যাগুলি প্রকৃত বিরতি থেকে সমানভাবে নমুনাযুক্ত $[1,\kappa]$ , এবং যাক $b=[b_1;\ldots;b_n]$ থাকা $n$ বাস্তব নম্বরগুলি গৌসিয়ান স্ট্যান্ডার্ড থেকে নমুনাযুক্ত id নির্ধারণ করা

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$ তারপরে সীমাতে

n \to \infty

$n\to\infty$ , সংঘবদ্ধ গ্রেডিয়েন্টগুলি সম্ভাব্যতার সাথে একের সাথে এক হয়ে যাবে conver

ϵ

$\epsilon$ এর সঠিক সমাধান

A x = b

$Ax=b$ চেয়ে কম

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$ পুনরাবৃত্তিও।

প্রুফ। স্ট্যান্ডার্ড প্রমাণটি বেশিরভাগ জায়গাতে যেমন গ্রিনবাউমের বই বা সাদের বইয়ের মতো কৌশলগুলি ব্যবহার করে সর্বোত্তম চেবিশেভ বহুবর্ষীয় অনুমানের উপর ভিত্তি করে ।

— রিচার্ড জাং
সূত্র

1

আবদ্ধটি তীক্ষ্ণ নয়, কারণ উত্তরটি পরে ব্যাখ্যা করেছে, যদি ইগেনভ্যালুগুলি সমানভাবে বিতরণ না করা হয়, সিজি দ্রুত রূপান্তরিত হয়, কারণ এটি কোনও স্ট্যাটাসনারি পুনরাবৃত্তি নয়। সুতরাং, আমাদের ম্যাট্রিক্স সম্পর্কে আরও জানতে হবে।

— গাইডো কানছ্যাট

@ গুয়েডো ক্যান্স্যাচ্যাট: ভাল কথা, এবং আমি স্পষ্ট করে দিয়েছিলাম যে সমস্ত ক্ষেত্রে তীক্ষ্ণতা অর্জন করা যায়

A

$A$ শর্ত সহ

κ

$\kappa$ ।

— রিচার্ড জাং

প্রমাণটি হ্রাস করে হ্রাস করে

‖ p (A) ‖

$\|p(A)\|$ অর্ডার স্পেস- বহুত্ববোধ সন্তুষ্ট । সমানভাবে এটি। উল্লিখিত সীমাতে, , এবং মিনিম্যাক্স সমস্যার সমাধান হ'ল চেবিশেভ বহুবর্ষ, যার ত্রুটিটি as

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— রিচার্ড জাং

0

এটিকে আমার আসল প্রশ্ন হিসাবে গ্রহণ করা: আমরা কি জানি যে সেখানে কোনও আরএইচএস এবং প্রাথমিক (দুর্ভাগ্য) অনুমান রয়েছে যার জন্য পদক্ষেপের প্রয়োজন হবে? $\Theta(\sqrt{\kappa})$

প্রশ্নের উত্তর হ'ল "না"। এই উত্তরের ধারণাটি গুইডো ক্যান্সচ্যাটের মন্তব্য থেকে আসে।

দাবি: প্রদত্ত শর্ত নম্বর একটি ম্যাট্রিক্স উপস্থিত রয়েছে , সেই শর্ত নম্বর সহ সিজি অ্যালগরিদম সর্বাধিক দুটি ধাপে শেষ হবে (কোনও প্রদত্ত আরএইচএস এবং প্রাথমিক অনুমানের জন্য)। $k$ $A$

Consider বিবেচনা করুন যেখানে । তারপরে এর শর্ত সংখ্যাটি হ'ল । যাক RHS হতে, এবং eigenvalues বোঝাতে হিসাবে যেখানে $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

আমরা প্রথমে কেসটি বিবেচনা করি যেখানে প্রাথমিক অনুমান, শূন্য যেখানে ,। বোঝাতে দ্বিতীয় অনুমান সি জি অ্যালগরিদম থেকে। আমরা showing দেখিয়ে দেখাই । আসলে, আমরা আছে $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

যেখানে আমরা প্রথম অর্ডার বহুবচন use হিসাবে হিসাবে সংজ্ঞায়িত করি । সুতরাং আমরা কেস জন্য প্রমাণিত করেছি । $\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ $x^{(0)}= 0$

যদি , তবে যেখানে সঙ্গে সি জি আলগোরিদিম দ্বিতীয় অনুমান দিয়ে প্রতিস্থাপিত । সুতরাং আমরা এই ক্ষেত্রে আগেরটি হ্রাস করেছি। $x^{(0)} \not = 0$ $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ $\overline{x^{(2)} }$ $b$ $\overline{b} = b-A x^{(0)}$

— ফ্রেড
সূত্র

সুনির্দিষ্ট গণিতকে সীমাবদ্ধ করতে এর কতটুকু শক্ত?

— অরিজিম্বো

@ অরিগিম্বো যদি আপনার প্রশ্নটি আমাকে নির্দেশিত করা হত তবে উত্তরটি হ'ল "আমি জানি না।"

— ফ্রেড