অরথোগোনাল ট্রান্সফর্মেশনগুলি গাউসিয়ান বিলোপকে ছাপিয়ে যায়?

Question

যেমনটি আমরা জানি, রৈখিক সমীকরণের ব্যবস্থার জন্য অরথোগোনাল ট্রান্সফর্মেশন পদ্ধতিগুলি (আবর্তন এবং হোল্ডার প্রতিচ্ছবি দেয়) গাউসিয়ান নির্মূলের চেয়ে ব্যয়বহুল, তবে তাত্ত্বিকভাবে এই স্থানে সুন্দর স্থিতিশীল বৈশিষ্ট্য রয়েছে যে তারা সিস্টেমের শর্ত সংখ্যা পরিবর্তন করে না। যদিও আমি ম্যাট্রিক্সের মাত্র একটি একাডেমিক উদাহরণ জানি যা আংশিক পাইভটিংয়ের মাধ্যমে গাউসিয়ান নির্মূল দ্বারা নষ্ট হয়ে গেছে। এবং প্রচলিত মতামত আছে যে অনুশীলনে এই ধরণের আচরণের দেখা পাওয়া খুব সম্ভব নয় ( এই লেকচার নোটগুলি দেখুন [পিডিএফ] )।

সুতরাং, আমরা বিষয়টিতে উত্তরটি কোথায় খুঁজব? সমান্তরাল বাস্তবায়ন? আপডেট করা হচ্ছে? ..

Answer 1

সঠিকতা

ট্রেফেথেন এবং শ্রেইবার একটি দুর্দান্ত কাগজ লিখেছিলেন, গড়-মামলার স্থায়িত্বের গাউসিয়ান নির্মূলকরণ , যা আপনার প্রশ্নের যথার্থতার দিকটি নিয়ে আলোচনা করে। এর কয়েকটি সিদ্ধান্তে এখানে দেওয়া হল:

1. "সঙ্গে বা কলাম অন্য pivoting ছাড়া কিউ গুণকনির্ণয় জন্য, অবশিষ্ট ম্যাট্রিক্স গড় সর্বোচ্চ উপাদান , যেহেতু গসিয়ান বর্জন জন্য এটা হে ( ঢ ) । এই তুলনা জানায় যে গসিয়ান বর্জন আস্তে অস্থির, কিন্তু অস্থিরতা শুধুমাত্র খুব বড় ম্যাট্রিক্স কম স্পষ্টতা সমাধান সমস্যার জন্য নির্ধারণযোগ্য হবে। সবচেয়ে বাস্তব সমস্যার জন্য, গসিয়ান বর্জন অত্যন্ত গড়ে স্থিতিশীল। "(জোর দেওয়া খনি)$O(n^{1/2})$$O(n)$

2. "গাউসিয়ান নির্মূলের প্রথম কয়েকটি পদক্ষেপের পরে, বাকী ম্যাট্রিক্স উপাদানগুলি প্রায় সেভাবেই বিতরণ করা হয়, নির্বিশেষে তারা সেভাবেই শুরু করেছিল কিনা।"

আপনি উল্লিখিত সবচেয়ে খারাপ ক্ষেত্রে ম্যাট্রিক্সের আলোচনা সহ আমি এখানে যে কাগজটি ক্যাপচার করতে পারি না তার আরও অনেক কিছুই রয়েছে, তাই আমি দৃ I়ভাবে আপনাকে এটি পড়ার পরামর্শ দিচ্ছি।

কর্মক্ষমতা

বর্গক্ষেত্র বাস্তব ম্যাট্রিক্স জন্য, আংশিক অন্য pivoting সঙ্গে এল ইউ মোটামুটিভাবে প্রয়োজন flops, যেহেতু গৃহকর্তাকে ভিত্তিক কিউ মোটামুটিভাবে প্রয়োজন 4 / 3 এন 3 flops। সুতরাং, যুক্তিসঙ্গতভাবে বড় স্কোয়ার ম্যাট্রিক্সের জন্য, কিউআর ফ্যাক্টেরাইজেশন LU ফ্যাক্টেরাইজেশনের চেয়ে দ্বিগুণ ব্যয়বহুল হবে।$2/3 n^3$$4/3 n^3$

জন্য ম্যাট্রিক্স, যেখানে মি ≥ এন , আংশিক অন্য pivoting সঙ্গে এল ইউ প্রয়োজন মি এন 2 - এন 3 / 3 flops, বনাম কিউ এর 2 মি এন 2 - 2 এন 3 / 3 (যা এখনও দুইবার যে এল ইউ গুণকনির্ণয় এর)। যাইহোক , অ্যাপ্লিকেশনগুলিতে খুব লম্বা চর্মসার ম্যাট্রিক্স ( এম ≫ n ), এবং ডেমেল এট আল উত্পাদন করা আশ্চর্যজনকভাবে সাধারণ । একটি সুন্দর কাগজ আছে, যোগাযোগ-এড়ানো সমান্তরাল এবং ক্রমানুসারে কিউআর কার্যকারিতা ization$m \times n$$m \ge n$$mn^2 - n^3/3$$2mn^2 - 2n^3/3$$m \gg n$, যা (ধারা 4 এ) একটি চালাক আলগোরিদিম যা শুধুমাত্র প্রয়োজন আলোচনা বার্তা যখন পাঠানো হবে পি , প্রসেসর ব্যবহার করা হয় বনাম এন লগ পি ঐতিহ্যগত পন্থা বার্তা। ব্যয়টি হ'ল ও ( এন 3 লগ পি ) অতিরিক্ত ফ্লপগুলি সম্পাদন করা হয় তবে খুব কম এন এর জন্য প্রায়শই আরও বার্তা প্রেরণের বিলম্বিত ব্যয়কে প্রাধান্য দেওয়া হয় (কমপক্ষে কেবল যখন একটি সিআরএল ফ্যাক্টরীকরণ করা প্রয়োজন)।$\log p$$p$$n \log p$$O(n^3 \log p)$$n$

Answer 2

আমি আশ্চর্য হয়েছি যে কেউ লিনিয়ার সর্বনিম্ন স্কোয়ার সমস্যাগুলির উল্লেখ করেনি , যা বৈজ্ঞানিক কম্পিউটিংয়ে প্রায়শই ঘটে। আপনি যদি গাউসিয়ান বিলোপ ব্যবহার করতে চান তবে আপনাকে সাধারণ সমীকরণগুলি গঠন এবং সমাধান করতে হবে, যা দেখতে দেখতে:

$$A^{T}Ax = A^{T}b,$$

যেখানে স্বাধীন ভেরিয়েবলের পর্যবেক্ষণের সাথে সম্পর্কিত ডেটা পয়েন্টগুলির একটি ম্যাট্রিক্স, এক্স পাওয়া প্যারামিটারগুলির একটি ভেক্টর, এবং খ নির্ভরশীল ভেরিয়েবলের পর্যবেক্ষণের সাথে সম্পর্কিত ডেটা পয়েন্টগুলির একটি ভেক্টর।$A$$x$$b$

জ্যাক পলসন প্রায়শই উল্লেখ করেছেন যে, এর শর্ত সংখ্যাটি A এর শর্ত সংখ্যার বর্গক্ষেত্র , সুতরাং সাধারণ সমীকরণগুলি বিপর্যয়করভাবে অসুস্থ অবস্থায় থাকতে পারে। এই জাতীয় ক্ষেত্রে, কিউআর- এবং এসভিডি-ভিত্তিক পদ্ধতিগুলি ধীর হলেও তারা অনেক বেশি সঠিক ফলাফল দেয়।$A^{T}A$$A$

Comments

সম্মত, কিন্তু কিউ আসলে এল ইউ সমাবস্থা থাকা উচিত যদি তোমরা অপ্রয়োজনীয় বিবেচনা গঠনের জন্য প্রয়োজনীয় অপারেশন একটি এইচ একজন (কিউ শুধুমাত্র প্রয়োজন 2 / 3 এন 3 আরও এল ইউ চেয়ে flops)। এসভিডি পদ্ধতিটি এখনও ধীর হওয়া উচিত যদিও (কেউ এর দাম প্রায় 6 এন 3 হিসাবে ভাবতে পারে )। $n^3$$A^H A$$2/3 n^3$$6n^3$

— জ্যাক পলসন

অরথোগোনাল রূপান্তর ব্যবহারের দ্বারা গ্যারান্টিযুক্ত স্থিতিশীলতা ছাড়াও, এসভিডির দুর্দান্ত সুবিধা হ'ল ক্ষয়টি তার নিজস্ব শর্ত পরীক্ষা করে, যেহেতু সবচেয়ে ক্ষুদ্রতম একবাক্য মানের বৃহত্তমের অনুপাতটি যথাযথভাবে (২-আদর্শ) শর্ত সংখ্যা। অন্যান্য পচনের জন্য, শর্ত অনুমানকারী (যেমন হ্যাজার-হিগাম) এর ব্যবহার পচন যথাযথ হিসাবে ব্যয়বহুল না হলেও কিছুটা "সামলানো" is

— জেএম

@ জ্যাকপুলসন কৌতূহলের মাত্র বাইরে, আপনার কাছে এসভিডি-র জন্য আপনার ফ্লপ গণনার জন্য কী কোনও রেফারেন্স রয়েছে? গোলুব ও ভ্যান লোন (পৃষ্ঠা 254 তৃতীয় সংস্করণ) এর তাত্ক্ষণিক দৃষ্টিভঙ্গি থেকে আমি যা বলতে পারি তা থেকে, কমপক্ষে স্কোয়ার সমস্যা সমাধানে এসভিডি ব্যবহারের জন্য ধ্রুবকটি উচ্চতর বলে মনে হয় তবে আমার ভুল হতে পারে। আগাম ধন্যবাদ.

— অস্কারবি

$8/3 n^3$$A=FBG^H$$C$$B=U\Sigma V^H$), and then $x := (G (V (\mathrm{inv}(\Sigma) (U^H (F^H b)))))$, which should require $O(n^2)$ work. Thus, it is all a matter of how big $C$ is...if MRRR ever works here it will be $O(n^2)$, but until then it is cubic and problem dependent.

— Jack Poulson

@J.M. Note, though, that the condition number of the least-squares problem is not the "classical" condition number $\frac{\sigma_1}{\sigma_n}$একটি ম্যাট্রিক্স; এটি আরও জটিল পরিমাণ।

— ফেডেরিকো পোলোনি

Answer 3

আপনি কর্মক্ষমতা কীভাবে পরিমাপ করবেন? গতি? সঠিকতা? স্টেবিলিটি? মতলব একটি দ্রুত পরীক্ষা নিম্নলিখিত দেয়:

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

সুতরাং একটি এলও-পচন সঙ্গে একটি একক সিস্টেমের সমাধান এটি প্রায় তিন গুণ গতিবেগের সাথে কিউআর-পচন দিয়ে সমাধান করার চেয়ে অর্ধিক দশমিক অঙ্কের নির্ভুলতার ব্যয় (এই উদাহরণ!)!

Comments

আপনার প্রস্তাবিত যোগ্যতাগুলির মধ্যে যে কোনও একটি স্বাগত।

— ফালিচিক

Answer 4

আপনি যে নিবন্ধটি উদ্ধৃত করেছেন তা গৌসিয়ান নির্মূলের পক্ষ থেকে এই বলে সুরক্ষিত করে যে এটি সংখ্যাগতভাবে অস্থির হলেও এটি এলোমেলো ম্যাট্রিকগুলিতে ভাল করার ঝোঁক রয়েছে এবং যেহেতু বেশিরভাগ ম্যাট্রিকগুলি যে কেউ ভাবতে পারেন তা এলোমেলো ম্যাট্রিক্সের মতো, তাই আমাদের ঠিক থাকা উচিত। এই একই বক্তব্যটি বহু সংখ্যাগত অস্থির পদ্ধতি সম্পর্কে বলা যেতে পারে।

সমস্ত ম্যাট্রিকের স্থান বিবেচনা করুন। এই পদ্ধতিগুলি প্রায় সর্বত্রই সূক্ষ্মভাবে কাজ করে। এটি 99.999 ... এক যে ম্যাট্রিকের তৈরি করা সম্ভব তার%% এর অস্থির পদ্ধতিতে কোনও সমস্যা হবে না। ম্যাট্রিকের কেবল খুব সামান্য ভগ্নাংশ রয়েছে যার জন্য জিই এবং অন্যদের অসুবিধা হবে।

গবেষকরা যে সমস্যাগুলির জন্য যত্নবান হন সেগুলি সেই ছোট ভগ্নাংশের মধ্যে থাকে।

আমরা এলোমেলোভাবে ম্যাট্রিক তৈরি করি না। আমরা খুব বিশেষ বৈশিষ্ট্যযুক্ত ম্যাট্রিকগুলি তৈরি করি যা খুব বিশেষ, নন-র্যান্ডম সিস্টেমের সাথে মিলে যায়। এই ম্যাট্রিকগুলি প্রায়শই শর্তযুক্ত থাকে।

Geometrically you can consider the linear space of all matrices. There is a zero volume/measure subspace of singular matrices cuts through this space. Many problems that we construct are clustered around this subspace. They are not distributed randomly.

As an example consider the heat equation or dispersion. These systems tend to remove information from the system (all initial states gravitate to a single final state) and as a result matrices that describe these equations are enormously singular. This process is very unlikely in a random situation yet ubiquitous in physical systems.

Comments

লিনিয়ার সিস্টেমটি যদি প্রাথমিকভাবে শর্তযুক্ত থাকে তবে আপনি কোন পদ্ধতিটি ব্যবহার করুন তা বিবেচনাধীন নয়: এলইউ এবং কিউআর উভয়ই পচে যাওয়া সঠিক ফল দেবে। কিউআর কেবল তখনই জিততে পারে যখন গাউসিয়ান নির্মূলের প্রক্রিয়া একটি ভাল ম্যাট্রিক্সকে "লুণ্ঠন" করে। মূল বিষয়টি হ'ল এই জাতীয় আচরণের ব্যবহারিক ঘটনাগুলি জানা যায় না।

— ফালিচিক

বেশিরভাগ বৈজ্ঞানিক অ্যাপ্লিকেশনগুলির জন্য, আমরা সাধারণত ম্যাট্রিকগুলি পাই যেগুলি বিরল, প্রতিসাম্য, ধনাত্মক সুনির্দিষ্ট, এবং / বা তির্যকভাবে প্রভাবশালী। খুব অল্প ব্যতিক্রম ছাড়াও ম্যাট্রিক্সে এমন কাঠামো রয়েছে যা আমাদের traditionalতিহ্যবাহী গাউসিয়ান নির্মূলকরণের জন্য নির্দিষ্ট কৌশলগুলি কাজে লাগাতে সহায়তা করে।

— পল

@ পল: অন্যদিকে, ঘন গাউসিয়ান নির্মূলকরণ যেখানে বেশিরভাগ সময় ব্যতিক্রমী ননসমমিত্রিক ম্যাট্রিক্সের জন্য বহুমুখী পদ্ধতিতে ব্যয় করা হয়।

— জ্যাক পলসন

@ পল এটি ঠিক নয় যে "বেশিরভাগ অ্যাপ্লিকেশনগুলি এসপিডি / তির্যকভাবে প্রভাবশালী ম্যাট্রিকগুলি উত্পাদন করে"। হ্যাঁ, সাধারণত কোনও ধরণের শোষণীয় কাঠামো থাকে তবে সংবেদনশীল এবং অনির্দিষ্ট সমস্যা অত্যন্ত সাধারণ।

— জেড ব্রাউন

"গণনার পঞ্চাশ বছরে, কোনও বিস্ফোরক অস্থিতিশীলতা উত্সাহিত করে এমন কোনও ম্যাট্রিক্স সমস্যা প্রাকৃতিক পরিস্থিতিতে দেখা দিয়েছে বলে জানা যায় না।" - এলএন ট্রেফেন এবং ডি বাউ তারা তাদের বইতে একটি আকর্ষণীয় সম্ভাব্য বিশ্লেষণ দিয়েছেন give

— জেএম