সমীকরণের রৈখিক সিস্টেমগুলি সমাধানের জন্য ক্রিলোভ সাবস্পেস পদ্ধতির রূপান্তর করার পেছনের নীতিটি কী?

আমি যেমন এটি বুঝতে পারি, সমীকরণের রৈখিক সিস্টেমগুলি সমাধান করার জন্য দুটি প্রধান বিভাগের পুনরাবৃত্তি পদ্ধতি রয়েছে:

নিশ্চল পদ্ধতি (জ্যাকোবি, গাউস-সিডেল, এসওআর, মাল্টিগ্রিড)
ক্রিলোভ সাবস্পেস পদ্ধতি (কনজুগেট গ্রেডিয়েন্ট, জিএমআরইএস ইত্যাদি)

আমি বুঝতে পারি যে বেশিরভাগ স্থির পদ্ধতিগুলি ত্রুটিটির ফুরিয়ার মোডগুলি পুনরাবৃত্তভাবে শিথিল করে (স্মুথ করা) কাজ করে। আমি যেমন এটি বুঝতে পেরেছি, কনজুগেট গ্রেডিয়েন্ট পদ্ধতি (ক্রিলোভ সাবস্পেস পদ্ধতি) ম অবশিষ্টাংশের ক্ষেত্রে প্রয়োগিত ম্যাট্রিক্সের শক্তিগুলি থেকে অনুসন্ধানের দিকনির্দেশের সর্বোত্তম সেটের মাধ্যমে "পদক্ষেপ" দ্বারা কাজ করে । এই নীতিটি কি সমস্ত ক্রিলোভ সাবসপেস পদ্ধতিতে সাধারণ? যদি তা না হয় তবে আমরা কীভাবে সাধারণভাবে ক্রিলোভ সাবস্পেস পদ্ধতির রূপান্তর করার মূলনীতিটি চিহ্নিত করব? $n$

— পল
সূত্র

নিশ্চল পদ্ধতিগুলির আপনার বিশ্লেষণ সাধারণ মডেল সমস্যাগুলির দ্বারা পক্ষপাতদুষ্ট, কারণ এগুলি ফুরিয়ার মোডের ক্ষেত্রে বিশ্লেষণ করা যেতে পারে। এটি বিকল্প দিকটি অন্তর্নিহিত (এডিআই) এবং অন্যান্য অনেক পদ্ধতি উপেক্ষা করে। বেশিরভাগ "স্টেশনারি মেথডস" এর মূল বিষয়টি হ'ল বহু সরল "আনুমানিক আংশিক" সমাধানকারীকে এক পুনরাবৃত্তীয় দ্রাবকের সাথে একত্রিত করা । ক্রিলোভ পদ্ধতির বিন্দুটি প্রদত্ত স্টেশনিয় রৈখিক পুনরাবৃত্তির রূপান্তরকে ত্বরান্বিত করা (বা এমনকি প্রয়োগ করা)।

— টমাস ক্লিম্পেল

আমি মনে করি যে একটি কাগজ আপনার প্রশ্নের উত্তর দেওয়ার জন্য লেখা হয়েছিল তা হলেন ইপসেন এবং মায়ার, ক্রেলোভ পদ্ধতির পিছনে ধারণা, আমের। ম্যাথ। মাসিক 105 (1998) পিপি 889-899। এটি একটি আশ্চর্যজনকভাবে ভাল লিখিত এবং স্পষ্ট করার কাগজ, এখানে উপলব্ধ ।

— অ্যান্ড্রু টি বার্কার

@ অ্যান্ড্রুটি.বার্কার: দুর্দান্ত! ধন্যবাদ অ্যান্ড্রু! :)

— পল

উত্তর:

সাধারণভাবে, সমস্ত ক্রিলোভ পদ্ধতিগুলি ম্যাট্রিক্সের বর্ণালীতে মূল্যায়ন করার সময় মূলত একটি বহুবর্ষের সন্ধান করে। বিশেষ করে, ম একটি Krylov পদ্ধতি (শূন্য প্রাথমিক অনুমান সহ) এর অবশিষ্ট আকারে লেখা যেতে পারে $n$

R_{এন} = {পি}_{এন} (একজন) খ

$r_n = P_n (A) b$

যেখানে হল ডিগ্রি এর কিছু বহুপদী । $P_n$ $n$

যদি , আমাদের $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

যে পরিস্থিতি এ স্বাভাবিক (যেমন, প্রতিসম বা একক) আমরা জানি যে জিআরইআরএস আর্নল্ডি পুনরাবৃত্তির মাধ্যমে এই জাতীয় বহুবিন্দু তৈরি করে, অন্যদিকে সিজি একটি পৃথক অভ্যন্তরীণ পণ্য ব্যবহার করে বহুপদী গঠন করে ( বিশদগুলির জন্য এই উত্তরটি দেখুন) )। একইভাবে, বিসিজি সংক্ষিপ্ত আকারের ল্যাঙ্কজোস প্রক্রিয়াটির মাধ্যমে তার বহুপদী গঠন করে, তবে চেবিশেভ পুনরাবৃত্তি বর্ণালী সম্পর্কে পূর্বের তথ্য ব্যবহার করে (সাধারণত প্রতিসাম্যিক নির্দিষ্ট ম্যাট্রিকগুলির জন্য বৃহত্তম এবং ক্ষুদ্রতম আইজেনিয়ুলের অনুমান)। $A$ $\kappa(V) = 1.$

একটি দুর্দান্ত উদাহরণ হিসাবে (ট্রেফেন + বাউ দ্বারা অনুপ্রাণিত), এমন একটি ম্যাট্রিক্স বিবেচনা করুন যার বর্ণালী এটি:

ম্যাট্রিক্সের স্পেকট্রাম

ম্যাটল্যাবে, আমি এটি দিয়ে এটি নির্মাণ করেছি:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

আমরা যদি জিএমআরইএস বিবেচনা করি, যেগুলি বহুবচন তৈরি করে যা প্রকৃতপক্ষে ডিগ্রি এর সমস্ত মনিক বহুবর্ষের চেয়ে অবশিষ্টাংশকে ন্যূনতম করে তোলে, আমরা প্রার্থী বহুবর্ষটি দেখে সহজেই অবশিষ্ট ইতিহাসের পূর্বাভাস দিতে পারি $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

আমাদের ক্ষেত্রে যা দেয়

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

জন্য বর্ণালী মধ্যে । $z$ $A$

এখন, যদি আমরা GMRES এলোমেলো আরএইচএসে চালিত করি এবং অবশিষ্ট ইতিহাসকে এই বহুবর্ষের সাথে তুলনা করি তবে তাদের অবশ্যই বেশিরভাগ মিল হওয়া উচিত (প্রার্থীর বহুপদী মানগুলি GMRES অবশিষ্টের চেয়ে ছোট কারণ because ): $\|b\|_2 > 1$

অবশিষ্ট ইতিহাস

— Reid.Atcheson
সূত্র

"ম্যাট্রিক্সের বর্ণালীতে ছোট" বলতে কী বোঝাতে চেয়েছেন আপনি কি তা পরিষ্কার করতে পারেন?

— পল

একটি জটিল বহুপদী হিসেবে নিয়েছে, বহুপদী জটিল সমতল যার বর্ণালী অন্তর্ভুক্ত একটি অঞ্চলের ছোট মডুলাস হয়েছে । ইগুভ্যালুগুলির একটি বিক্ষিপ্ত প্লটের উপর সুপারম্পোজ করা একটি কনট্যুর প্লট কল্পনা করুন। ছোট কত ছোট? এটি সমস্যার উপর নির্ভর করে, সাধারণ কিনা এবং ডান-হাতযদিও মূল ধারণাটি হ'ল বহুবর্ষের ক্রম বর্ণালীতে ক্রমান্বয়ে আরও ছোট এবং ছোট হওয়ার চেষ্টা করে যাতে আমার অবশিষ্ট অনুমান ।

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— রিড.এচচসন

@ রেড.এচচসন: খুব ভাল করে বলেছেন। আমি recommend লেখার প্রস্তাব দিতে পারি যেমন এবং উল্লেখ যে এটা স্বাভাবিক ম্যাট্রিক্স জন্য কেউ নেই?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— জ্যাক পলসন

অনুকূল এসওআর দ্বারা পূর্বশর্তযুক্ত ল্যাপ্লেসিয়ার উদাহরণটি ম্যাট্রিক্সের সাথে খুব মিল রয়েছে। বিশদগুলি

— জেড ব্রাউন

কড়া কথায় বলতে গেলে সিজিএনই বর্ণালী থেকে স্বতন্ত্র কারণ এটি কেবলমাত্র একক মানের উপর নির্ভর করে।

— জেড ব্রাউন

নিয়ম অনুসারে

রেডের যোগসূত্র হিসাবে। অ্যাচচসনের উত্তরে আমি নিয়ম সম্পর্কিত কিছু বিষয় পরিষ্কার করতে চাই। এ পুনরাবৃত্তির, GMRES বহুপদী খুঁজে বের করে যে ছোট অবশিষ্ট এর -norm $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

ধরুন তাই হয়, এসপিডি হয় একটি আদর্শ সংঘটিত এবং তাই করে । তারপর $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{এন})^{টি} {একজন}^{- 1} একজন ই_{এন} \\ = ই_{এন}^{টি} একজন ই_{এন} \\ = ‖ ই_{এন} ‖_{একজন} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

যেখানে আমরা ত্রুটিটি ব্যবহার করেছি

ই_{এন} = {এক্স}_{এন} - {এক্স}_{*} = {এক্স}_{এন} - {একজন}^{- 1} খ = {একজন}^{- 1} R_{এন}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

সুতরাং ত্রুটির -norm অবশিষ্টের আদর্শের সমান । কনজ্যুগেট গ্রেডিয়েন্টগুলি ত্রুটির -nnor হ্রাস করে যা এটি কম শক্তি মোডগুলি সমাধান করার ক্ষেত্রে তুলনামূলকভাবে আরও নির্ভুল করে তোলে। অবশিষ্ট এর -norm, যা ছোট GMRES, মত হল ত্রুটির -norm, এবং এইভাবে অর্থে দুর্বল যে কম শক্তি মোড কম ভাল-সমাধান করা হয়। নোট করুন যে অবশিষ্টাংশের ইউনির্ম মূলত অকেজো কারণ এটি স্বল্প-শক্তি মোডে এমনকি দুর্বল। $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

অভিমুখে সীমাবদ্ধতার তীক্ষ্ণতা

অবশেষে, জিআরইআরএস রূপান্তরটির বিভিন্ন ক্রাইলোভ পদ্ধতি এবং সূক্ষ্মতা সম্পর্কিত আকর্ষণীয় সাহিত্য রয়েছে, বিশেষত অ-সাধারণ অপারেটরদের জন্য।

নচটিগাল, রেড্ডি, এবং ট্রেফেথেন (1992) ননসিমমেট্রিক ম্যাট্রিক্স পুনরাবৃত্তি কত দ্রুত হয়? (লেখকের পিডিএফ) ম্যাট্রিকের উদাহরণ দেয় যার জন্য একটি পদ্ধতি অন্য সকলকে একটি বড় ফ্যাক্টর দ্বারা পরাজিত করে (কমপক্ষে ম্যাট্রিক্স আকারের বর্গমূল)।
এম্ব্রি (1999) GMRES কনভার্জেন্সের সীমা কতটা বর্ণনামূলক? সিউডোস্পেক্ট্রার ক্ষেত্রে একটি অন্তর্দৃষ্টিপূর্ণ আলোচনা দেয় যা তীক্ষ্ণ সীমানা দেয় এবং অ-ডায়াগোনালাইজযোগ্য ম্যাট্রিকগুলিতেও প্রযোজ্য।
এমব্রি (২০০৩) কচ্ছপ এবং হরে জিএমআরইএস পুনরায় চালু করুন (লেখক পিডিএফ)
গ্রিনবাউম, প্যাটাক এবং স্ট্রোকো (১৯৯)) জিএমআরইএসের জন্য যেকোন অযৌক্তিক রূপান্তর বাঁক সম্ভব

— জেড ব্রাউন
সূত্র

আপনি

— ওলভী নেভলিন্নার দুর্দান্ত

সংক্ষেপে Iterative পদ্ধতি:

$Ax=b$ $C$
$এক্স = এক্স + + সি খ - সি একজন এক্স$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

এটি ইউটিফ সাদের বইটিতে পুনরুক্তি পদ্ধতিতে সুন্দরভাবে ব্যাখ্যা করা হয়েছে ।

— খ্রিস্টান ক্লাসন
সূত্র