পূর্বগতির পরে চতুর্ভুজ সময়ে তির্যক প্লাস সংশোধন প্রতিসম লিনিয়ার সিস্টেমগুলি সমাধান করা যেতে পারে?

21

ফর্মের লিনিয়ার সিস্টেমগুলি সমাধান করার জন্য একটি $O(n^3+n^2 k)$ পদ্ধতি আছে যেখানে একটি নির্দিষ্ট এসপিডি ম্যাট্রিক্স এবং ইতিবাচক তির্যক ম্যাট্রিক্স রয়েছে? $k$ $(D_i + A) x_i = b_i$ $A$ $D_i$

উদাহরণস্বরূপ, যদি প্রতিটি স্কালে, এটা এর SVD গনা যথেষ্ট । যাইহোক, চলাচলের অভাবের কারণে এটি সাধারণ জন্য ভেঙে যায় । $D_i$ $A$ $D$

আপডেট : এখন পর্যন্ত উত্তরগুলি "না"। কারও কাছে কেন কোনও আকর্ষণীয় অন্তর্দৃষ্টি আছে? একটি উত্তর নেই এর অর্থ হ'ল দু'জন অপরিবর্তিত অপারেটরের মধ্যে তথ্য সংকোচনের কোনও অনর্থক উপায় নেই। এটি মারাত্মক আশ্চর্যজনক নয়, তবে এটি আরও ভাল করে বুঝতে পেরে দুর্দান্ত লাগবে।

— জিওফ্রে ইরভিং
সূত্র

এসপিডি = আধা-পজিটিভ সুনির্দিষ্ট?

— রকলিয়ার

হ্যাঁ, এসপিডি ছাড়াই সমস্যাটি মূলত একই। আমি যুক্ত করেছিলাম যে সিস্টেমগুলি কখনই একবিন্দু না হয় তা নিশ্চিত করার জন্য এই সীমাবদ্ধতা।

— জিওফ্রে ইরভিং

19

আপনার প্রশ্নের যে নিকটতম ইতিবাচক উত্তরগুলি আমি পেয়েছি তা হল বিরল তির্যক বিতর্ক (নীচে দেখুন)।

এই বলে যে, আমি সাধারণ ক্ষেত্রে কোন অ্যালগরিদম জানি না, যদিও আপনি এসপিডি ম্যাট্রিক্স থেকে সমস্ত বর্গ ম্যাট্রিকগুলিতে স্ক্যালার শিফট করার জন্য যে কৌশলটির উল্লেখ করেছেন সেখানে একটি সাধারণীকরণ রয়েছে:

যে কোনও বর্গ ম্যাট্রিক্স দেওয়া আছে, সেখানে একটি শুর পচন , যেখানে একক এবং উচ্চতর ত্রিভুজাকার এবং এর একটি শুর পচন সরবরাহ করে । সুতরাং, আপনার পূর্ববর্তী ধারণাটি অ্যালগরিদমের মাধ্যমে সমস্ত বর্গ ম্যাট্রিকগুলিতে প্রসারিত: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

সর্বাধিক কাজের ক্ষেত্রে গণনা করুন । $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
প্রতিটি মাধ্যমে কাজের মধ্যে (মধ্য বিবর্তনটি কেবল ফিরে বিকল্প)। $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

যুক্তি এই লাইন পদ্ধতির উল্লেখ করেছে যখন থেকে হ্রাস এসপিডি যেহেতু Schur পচানি স্বাভাবিক ম্যাট্রিক্স একটি EVD করার কমে আসে এবং Hermitian ইতিবাচক-নির্দিষ্ট ম্যাট্রিক্স জন্য SVD সঙ্গে EVD সমানুপাতিক। $A$

আপডেট করার প্রতিক্রিয়া: যতক্ষণ না আমার কাছে প্রমাণ রয়েছে, যা আমি না করি, আমি উত্তরটি "না" বলে দাবি করতে অস্বীকার করি। যাইহোক, আমি কেন এটি শক্ত তা সম্পর্কে কিছুটা অন্তর্দৃষ্টি দিতে পারি, পাশাপাশি উত্তরটি হ্যাঁ এমন একটি অন্য সাবকাসও দিতে পারি।

অপরিহার্য অসুবিধাটি হ'ল, আপডেটটি তির্যক হলেও, এটি এখনও সাধারণ পূর্ণ পদে রয়েছে, সুতরাং একটি বিপরীত আপডেট করার প্রাথমিক সরঞ্জাম শেরম্যান-মরিসন-উডবারি সূত্রটি সাহায্য করে বলে মনে হয় না। যদিও স্কেলার শিফট কেসটিও পুরো র‌্যাঙ্কে রয়েছে, এটি যেমন আপনি উল্লেখ করেছিলেন তেমন প্রতিটি ম্যাট্রিক্সের সাথে একমত হওয়ার কারণে এটি একটি অত্যন্ত বিশেষ ঘটনা।

সঙ্গে বলেন যে, যদি প্রতিটি বিক্ষিপ্ত ছিল, অর্থাত, তারা একে ফেলা nonzeros, তারপর শের্মান-মরিসন-মধ্যে Woodbury সূত্র উৎপাদ একটি প্রতিটি জোড়া দিয়ে সমাধান । উদাহরণস্বরূপ, একটি একক অশূন্য সঙ্গে তম তির্যক এন্ট্রি, যাতে : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

যেখানে হয় তম মান ভিত্তিতে ভেক্টর । $e_j$ $j$

আরেকটি আপডেট: আমার উল্লেখ করা উচিত যে আমি পূর্বশর্ত চেষ্টা করেছি যা @ জিফঅক্সবেরি পিসিজি ব্যবহার করে কয়েকটি এলোমেলো এসপিডি ম্যাট্রিকগুলিতে পরামর্শ দিয়েছিল এবং সম্ভবত আশ্চর্যের বিষয় নয় যে এটি পুনরাবৃত্তির সংখ্যা অনেক কমাতে বলে মনে হচ্ছে ছোট, তবে এটি বা তার বেশি হলে নয়। $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— জ্যাক পলসন
সূত্র

12

যদি প্রতিটি জন্য তির্যকভাবে প্রভাবশালী হয় , তবে কোটিস, মিলার এবং পেং দ্বারা সাম্প্রতিক কাজ ( সমান্তরাল তির্যকভাবে প্রভাবশালী ম্যাট্রিকগুলিতে কাজ করার জন্য কাউটিসের ওয়েবসাইট দেখুন ) ) এর প্রতিটি সিস্টেম সমাধান করার জন্য ব্যবহার করা যেতে পারে সময় (আসলে সময়, যেখানে মধ্যে অশূন্য এন্ট্রির সর্বোচ্চ সংখ্যা হল সব $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ , যাতে আপনি স্পারসিটিরও সুবিধা নিতে পারেন)। তারপর, মোট চলমান সময় হবে , যা বেশী ভালো naively প্রতিটি সিস্টেমের সমাধানে ঘন রৈখিক বীজগণিত ব্যবহারের পদ্ধতির কিন্তু দ্বিঘাত রান টাইম চেয়ে সামান্য খারাপ আপনি 'জিজ্ঞাসা করছি। $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

উল্লেখযোগ্য sparsity সব জন্য বিক্ষিপ্ত solvers দ্বারা শোষিত হতে পারে একটি উত্পাদ অ্যালগরিদম, কিন্তু আমি অনুমান করছি যে আপনি যদি উল্লেখযোগ্য sparsity ছিল, তাহলে আপনি এটি উল্লিখিত হবে। $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

পুনরুক্তি পদ্ধতিগুলি ব্যবহার করে প্রতিটি সিস্টেম সমাধান করার জন্য আপনি পূর্ব শর্ত হিসাবে ব্যবহার করতে পারেন এবং দেখুন কীভাবে এটি কার্যকর হয়। $A^{-1}$

আপডেট করার প্রতিক্রিয়া : @ জ্যাকপলসন সংখ্যাগত লিনিয়ার বীজগণিত এবং অ্যালগরিদমের দৃষ্টিকোণ থেকে দুর্দান্ত পয়েন্ট দেয়। আমি পরিবর্তে গণ্য জটিলতার যুক্তিগুলিতে মনোনিবেশ করব।

রৈখিক সিস্টেমগুলির সমাধানের গণ্য জটিলতা এবং ম্যাট্রিক্সের গুণনের গুণগত জটিলতা মূলত সমান। ( বীজগণিত সংক্রান্ত জটিলতা তত্ত্বটি দেখুন )) যদি আপনি এমন একটি অ্যালগরিদম খুঁজে পেতে পারেন যা দুটি নন-কমিউটিং অপারেটরগুলির মধ্যে তথ্যকে সংকুচিত করতে পারে (পজিটিভ সেমাইডাইফিনেট অংশটিকে উপেক্ষা করে) এবং মধ্যে যে চতুর্ভুজ সময় প্রস্তাব করছে আপনি সরাসরি সেই সংকলনের সমাধান করতে পারেন , তবে এটি সম্ভবত আপনি ম্যাট্রিক্সের দ্রুত গুণ সম্পর্কে তথ্য নির্ধারণ করতে এই জাতীয় অ্যালগরিদম ব্যবহার করতে পারেন। লিনিয়ার সিস্টেমগুলির গণনাগত জটিলতা হ্রাস করার জন্য কীভাবে ইতিবাচক অর্ধ-চূড়ান্ত কাঠামোটি ঘন, সরাসরি পদ্ধতিতে ব্যবহৃত হতে পারে তা দেখা মুশকিল। $n$

@ জ্যাকপলসনের মতো, আমি বলতে চাইছি না যে উত্তরটি কোনও প্রমাণ ছাড়াই "না", তবে উপরের সংযোগগুলি দেওয়া হলেও সমস্যাটি খুব কঠিন এবং বর্তমান গবেষণার আগ্রহের। সেরা আপনি বিশেষ কাঠামো ওঠানামা ছাড়া একটি asymptotic দৃষ্টিকোণ থেকে কাজ করতে পারে কপারস্মিথ এবং Winograd অ্যালগরিদম উপর একটি উন্নতি এমনই এক ফলনশীল হয় অ্যালগরিদম, যেখানে । এই অ্যালগরিদম কোড করা কঠিন, এবং সম্ভবত ছোট ম্যাট্রিক্সের জন্য ধীর হতে পারে, কারণ অ্যাসিম্পটোটিক প্রাক্কলনের পূর্ববর্তী ধ্রুবক কারণটি সম্ভবত গাউসীয় নির্মূলের তুলনায় বিশাল আকারের relative $\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— জিওফ অক্সবেরি
সূত্র

3

ক্রসওভারটি কোথায় হতে পারে তার একটি নিরপেক্ষ বিবৃতি আমি এখনও দেখতে পাইনি, তবে বেশ কয়েকটি নামী উত্স সূত্র জানিয়েছে যে (বাস্তবায়নের বিষয়গুলি একপাশে রেখে দেওয়া হয়েছে), কপারস্মিথ-উইনোগ্রেড ম্যাট্রিক্স মাপের মানক পদ্ধতিগুলিকে হারাতে পারবেন না যা অদূর ভবিষ্যতে স্মৃতিতে ফিট করতে সক্ষম হবে (কয়েক দশক) লিনপ্যাক বেঞ্চমার্ক বর্তমান শীর্ষ মেশিনগুলিতে চালাতে এক দিনেরও বেশি সময় নেয়, এটি সম্ভবত কপারস্মিথ-উইনোগ্রাড অনুশীলনে ব্যবহৃত হবে বলে মনে হয় না। স্ট্রাসেন বড় সমস্যাগুলির জন্য আসলে ব্যবহারিক, যদিও এটি কিছুটা কম সংখ্যক স্থিতিশীল।

— জেদ ব্রাউন

এটি আমাকে অবাক করে না। বাস্তবায়ন বিশদ জন্য +1।

— জিফ অক্সবেরি

6

প্রথম লম্বা অর্ডার টেইলর প্রসারণটি সাধারণ ল্যাগিংয়ের তুলনায় রূপান্তরকে উন্নত করতে ব্যবহার করা যেতে পারে। ধরুন আমরা একটি preconditioner (বা কোনো সরাসরি জন্য কারণের সমাধান) উপলব্ধ , এবং আমরা preconditioning জন্য এটি ব্যবহার করতে চান । আমরা গণনা করতে পারি $A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

যেখানে শেষ পংক্তিটি লেখার জন্য টেলর সম্প্রসারণ ব্যবহৃত হত। এই পূর্বশর্তটির প্রয়োগের জন্য দিয়ে দুটি সলভ প্রয়োজন । $A+D$

আমরা যখন অপারেটর (যেমন ) দিয়ে সমাধানের চেষ্টা করছি তার চেয়ে পূর্ববর্তী থেকে দূরে সরিয়ে নেওয়া হবে তবে এটি বেশ । তাহলে preconditioner মধ্যে স্থানান্তর ছোট ( ) অনির্দিষ্ট, preconditioned অপারেটর হয়ে যায়। $D\gtrsim 0$ $D \lesssim \min \sigma(A)$

$\sqrt 2$ $A+D$ $A+D$

— জেড ব্রাউন
সূত্র