ডিফল্ট ম্যাট্রিক্সের আদর্শ কেন বর্ণাল আদর্শ এবং ফ্রবেনিয়াস আদর্শ নয়?

ভেক্টর আদর্শের জন্য, L2 আদর্শ বা "ইউক্লিডিয়ান দূরত্ব" হ'ল বহুল ব্যবহৃত এবং স্বজ্ঞাত সংজ্ঞা। তবে কেন ম্যাট্রিক্সের জন্য "সর্বাধিক ব্যবহৃত" বা "ডিফল্ট" আদর্শ সংজ্ঞা বর্ণালী আদর্শ , তবে ফ্রোবেনিয়াস নর্ম (যা ভেক্টরগুলির জন্য L2 আদর্শের অনুরূপ) নয়?

এর পুনরাবৃত্ত অ্যালগরিদম / ম্যাট্রিক্স শক্তিগুলির সাথে কিছু করার আছে (বর্ণালী ব্যাসার্ধ যদি 1 এর চেয়ে কম হয় তবে অ্যালগোরিদম সংহত হবে)?

এটি "সর্বাধিক ব্যবহৃত", "ডিফল্ট" শব্দের জন্য সর্বদা তর্কযোগ্য। উপরে উল্লিখিত "ডিফল্ট" শব্দটি Matlabফাংশনে ডিফল্ট রিটার্ন টাইপ থেকে আসছে norm। ইন Rম্যাট্রিক্স জন্য ডিফল্ট আদর্শ হল L1 আদর্শ নেই। উভয়ই আমার কাছে "অপ্রাকৃত" (একটি ম্যাট্রিক্সের জন্য এটি করা আরও "প্রাকৃতিক" বলে মনে হয় $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ ভেক্টরের মতো)। (@ ইউএসআর 11852 এবং @ হোবারের মন্তব্যের জন্য ধন্যবাদ এবং বিভ্রান্তির জন্য দুঃখিত।)
ম্যাট্রিক্স আদর্শের ব্যবহার বাড়িয়ে দেওয়া কি আমাকে আরও বুঝতে সাহায্য করবে?

matrix linear-algebra

— হাইতাও ডু
সূত্র

আমি নিশ্চিত নই যে বর্ণালী আদর্শটি বহুল ব্যবহৃত হয় widely উদাহরণস্বরূপ Frobenius নিয়ম NNMF এর জন্য ব্যবহৃত হয় এবং সাধারণত Cor / covariance ম্যাট্রিক্সের সমাধানের কাছাকাছি যখন Pos.Def নয়। এবং পোস হওয়ার জন্য নিয়মিত করা হয়। Def। সাধারণভাবে ফোর্বেনিয়াস নিয়মটি প্রতি "উপাদান-ভিত্তিক" নিয়ম হয় যখন বর্ণালী নীতিটি ইগেনভ্যালুগুলির উপর ভিত্তি করে তাই এটি কিছুটা "সার্বজনীন" তবে এটি মতামতের বিষয়। উদাহরণস্বরূপ ভদ্রতার " ম্যাট্রিক্স বীজগণিত " এর আক্ষরিক অর্থে একটি অধ্যায় রয়েছে: " দ্য ফ্রোবিনিয়াস নর্ম -" সাধারণ "নরম "। সুতরাং স্পষ্টত বর্ণালী আদর্শ সবার জন্য পূর্বনির্ধারিত আদর্শ নয়।

— usεr11852

@ hxd1011: ম্যাটল্যাবে অন্ততপক্ষে এটি করা হয়েছে কারণ বর্ণালী আদর্শটি আসলে

ম্যাট্রিক্সের আদর্শ।

ম্যাট্রিক্স আদর্শ যেহেতু এটি ইউক্লিডিয় ভেক্টর আদর্শ, দ্বারা প্রবর্তিত একটি ইউক্লিডিয়-টাইপ আদর্শ যেখানে

। ম্যাট্রিক্সের জন্য প্ররোচিত নিয়ম সম্পর্কে ধরা পড়লে সেগুলি ভেক্টর নর্মাল দ্বারা প্ররোচিত হয়

L_{2}

$L_2$

L_{2}

$L_2$

| | A | |_{2} = max_{| | x | |_{2} = 1} | | A x | |_{2}

$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ । আমি আর এর পিছনেও এই ধারণাটি অনুমান করি। "ডিফল্ট" normকমান্ডের জন্য সর্বদা একই নিয়মটি ফিরিয়ে দেওয়া বোঝায় ।

— usεr11852

আমি একমত নই যে ডিফল্টটি ইউক্লিডিয়ান এবং স্পেকট্রাল সবচেয়ে বেশি ব্যবহৃত হয়।

— আকসকল

আমি এই প্রশ্নে বিস্মিত হয়েছি কারণ আমি দেখতে পাচ্ছি না যে ম্যাট্রিক্সের নিয়মগুলি কীভাবে পছন্দ বা ব্যবহারের বিষয়। যদি কোনও বিশেষ নিয়ম কোনও সমস্যার সাথে সম্পর্কিত হয়, তবে এটি ব্যবহৃত হয়; অন্য একটি যদি প্রাসঙ্গিক হয়, তবে এটি ব্যবহৃত হয়। কোনও স্পষ্ট সমস্যা বা প্রয়োগের কথা মাথায় না রেখে, আমি এই প্রশ্নটি কীভাবে উত্তরযোগ্য তা দেখতে পাচ্ছি না।

— whuber

@ usεr11852 এটি উল্লেখ করার জন্য আপনাকে ধন্যবাদ। এটি গুরুত্বপূর্ণ যে প্রশ্নের পাঠ্যটিতে এ জাতীয় সমস্ত তথ্য অন্তর্ভুক্ত রয়েছে। মন্তব্যগুলি পড়া লোকদের উপর নির্ভর করবেন না, বিশেষত যখন তাদের মধ্যে অনেকগুলি থাকে। ঘটনাক্রমে, আমার অনুলিপিতে "আদর্শ {বেস}" এর সহায়তা পৃষ্ঠায় বর্ণাবলীর আদর্শ নয়, ডিফল্ট হিসাবে

আদর্শকে Rতালিকাবদ্ধ করে ।

L^{1}

$L^1$

— হোবার

উত্তর:

সাধারণভাবে, আমি নিশ্চিত নই যে বর্ণালী রীতিটি সবচেয়ে বেশি ব্যবহৃত হয়। উদাহরণস্বরূপ Frobenius নিয়ম অ-নেতিবাচক ম্যাট্রিক্স ফ্যাক্টরিয়েশন বা পারস্পরিক সম্পর্ক / কোভেরিয়েন্স ম্যাট্রিক্স নিয়মিতকরণ সম্পর্কিত আনুমানিক সমাধানের জন্য ব্যবহৃত হয় । আমি মনে করি যে এই প্রশ্নটির অংশটি ইউক্লিডিয়ান ম্যাট্রিক্স আদর্শ হিসাবে ফ্রোবিনিয়াস রীতিটি উল্লেখ করার সময় কিছু লোক (নিজেকে অন্তর্ভুক্ত করে) শৃঙ্খলাবদ্ধ অপকর্ম থেকে উদ্ভূত হয় । আমাদের উচিত হবে না কারণ আসলে ম্যাট্রিক্সের আদর্শ (যেমন বর্ণালী আদর্শ) ভেক্টর নর্মটি ব্যবহার করার সময় ম্যাট্রিকগুলিতে প্ররোচিত হয় । ফ্রোবিনিয়াস রীতিটি হ'ল উপাদান-ভিত্তিক: $L_2$ $L_2$ , যখনম্যাট্রিক্স আদর্শ ( $||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$ $L_2$ একক মানগুলির উপর ভিত্তি করে তাই এটি আরও "ইউনিভারাল"। (আরও ভাল শর্তের জন্য?)ম্যাট্রিক্স আদর্শটি ইউক্লিডিয়ান ধরণের আদর্শ, যেহেতু এটি ইউক্লিডিয়ান ভেক্টর নর্মদী দ্বারা প্ররোচিত, যেখানে। এটিম্যাট্রিক্সের জন্যএকটিপ্ররোচিত নিয়মকারণ এটি দ্বারাপ্রেরিতহয় $||A||_2 = \sqrt{\lambda_{max}(A^T A)})$ $L_2$ $||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ ভেক্টর আদর্শ , এক্ষেত্রে ভেক্টর আদর্শ। $L_2$

সম্ভবত ম্যাটল্যাব লক্ষ্য রেখেছে যখন কমান্ডটি ব্যবহার করার সময় ডিফল্টরূপে আদর্শ সরবরাহ করা ; ফলস্বরূপ এটি ইউক্লিডিয়ান ভেক্টর আদর্শ সরবরাহ করে তবে ম্যাট্রিক্স আদর্শ, যেমন। ভুতুড়ে ম্যাট্রিক্স আদর্শ (বদলে ভুলভাবে উদ্ধৃত " Frobenius / ইউক্লিডিয় ম্যাট্রিক্স আদর্শ ")। পরিশেষে আমি লক্ষ করি যে ডিফল্ট আদর্শটি কী তা কিছুটা বাড়ানোর মতের বিষয়: উদাহরণস্বরূপ জেই জেন্টেলের " ম্যাট্রিক্স বীজগণিত - তত্ত্ব, গণনা এবং পরিসংখ্যানগুলিতে অ্যাপ্লিকেশনগুলির " আক্ষরিক অর্থে একটি অধ্যায় (৩.৯.২) রয়েছে: " দ্য ফ্রোবেনিয়াস আদর্শ - "সাধারণ" আদর্শ $L_2$ norm $L_2$ "; so clearly the spectral norm is not the default norm for all parties considered! :) As commented by @amoeba, different communities might have different terminology conventions. It goes without saying that I think Gentle's book is an invaluable resource on the matter of Lin. Algebra application in Statistics and I would prompt you to look it further!

— usεr11852 says Reinstate Monic
সূত্র

great answer!!

‖ A ‖_{2} = max_{‖ x ‖_{2} = 1} ‖ A x ‖_{2}

$\|A\|_2=\max_{\|x\|_2=1}\|Ax\|_2$ helped me a lot!

— Haitao Du

I am glad I could help. Please take note of the other answers provided too. They are quite insightful.

— usεr11852 says Reinstate Monic

A part of the answer may be related to numeric computing.

আপনি যখন সিস্টেমটি

A x = b

$Ax=b$ সসীম নির্ভুলতার সাথে সমাধান করেন, আপনি সেই সমস্যার সঠিক উত্তর পাবেন না । সীমাবদ্ধ পাটিগণিতের সীমাবদ্ধতার কারণে আপনি একটি আনুমানিক

\tilde{x}

$\tilde x$ পান, যাতে

A \tilde{x} \approx b

$A\tilde x \approx b$ , কিছুটা উপযুক্ত অর্থে। তাহলে আপনার সমাধানটি কী প্রতিনিধিত্ব করে? ঠিক আছে, এটি অন্য কোনও সিস্টেমের মতো সঠিক সমাধান হতে পারে যেমন

\tilde{A} \tilde{x} = \tilde{b}

$\tilde A \tilde x = \tilde b$ সুতরাং

\tilde{x}

$\tilde x$ ইউটিলিটি থাকার জন্য, টিলড-সিস্টেমটি অবশ্যই মূল সিস্টেমের কাছাকাছি থাকতে হবে:

\tilde{A} \approx A, \tilde{b} \approx b

$\tilde A \approx A, \quad \tilde b \approx b$ If your algorithm of solving the original system satisfies that property, then it is referred to as backward stable. Now, the accurate analysis of how big the discrepancies

\tilde{A} - A

$\tilde A-A$ ,

\tilde{b} - b

$\tilde b-b$ are eventually leads to errors on bounds which are expressed as

‖ \tilde{A} - A ‖

$\| \tilde A-A \|$ ,

‖ \tilde{b} - b ‖

$\| \tilde b-b\|$ . For some analyses, the

l_{1}

$l_1$ norm (max column sum) is the easiest one to push through, for others, the

l_{\infty}

$l_\infty$ norm (max row sum) is the easiest to push through (for components of the solution in the linear system case, for instance), and for yet others, the

l_{2}

$l_2$ spectral norm is the most appropriate one (induced by the traditional

l_{2}

$l_2$ vector norm, as pointed out in another answer). For the work horse of statistical computing in symmetric p.s.d. matrix inversion, Cholesky decomposition (trivia: the first sound is a [x] as in Greek letter "chi", not [tʃ] as in "chase"), the most convenient norm to keep track of the error bounds is the

l_{2}

$l_2$ norm... although the Frobenius norm also pops up in some results e.g. on partitioned matrix inversion.

— StasK
সূত্র

+1, in particular for the trivia. I have always thought it starts with [k]. I looked it up now and apparently André-Louis Cholesky was of Polish decent (born in France though). Shouldn't it be "sh" sound then, like in Chopin? However, in Russian Cholesky is indeed traditionally written as Холецкий.

— amoeba says Reinstate Monica

I take it back. Turns out Chopin's father was French, hence the French pronunciation of the surname. But Cholesky's parents were Polish and in Polish it should have been pronounced with [

χ

$\chi$ ]. Cheers.

— amoeba says Reinstate Monica

Yeah... I'd thought that as a Russian with a Polish first name, and having first read that Russian spelling a decade or so before first seeing it spelled in Latin letters, I'd have some idea how to pronounce it ;)

— StasK

Who cares how to pronounce it, just use the damn thing.

— Mark L. Stone

The answer to this depends on the field you're in. If you're a mathematician, then all norms in finite dimensions are equivalent: for any two norms $\|\cdot\|_a$ and $\|\cdot\|_b$ , there exist constants $C_1,C_2$ , which depend only on dimension (and a,b) such that:

C_{1} ‖ x ‖_{b} \leq ‖ x ‖_{a} \leq C_{2} ‖ x ‖_{b} .

$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$ , unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$ .

— Alex R.
সূত্র

Unfortunately, the term "equivalence", as in norms, can and has been misinterpreted, including by people with Ph.D.s in Computer Science. I needed to implement a certain non-trivial calculation using a 2-norm, and this guy produced a solution using a 1-norm, because that was much easier, and after all, he had heard that all norms are equivalent. Well, being off by a factor of (up to)

\sqrt{n}

$\sqrt{n}$ was not adequate for me. In that application, I could only afford to be off by a factor of 1.

— Mark L. Stone

@MarkL.Stone: Right, hence the distinction between theoretical (really: topological) and practical.

— Alex R.

@MarkL.Stone: +1 Clearly he was not unit-testing his code. :) (Nice anecdote! I will definitely use it when talking about miscommunications in technical computing!)

— usεr11852 says Reinstate Monic

@usεr11852 ha ha, no, it's worse than that. He did "unit-test" the code as correctly implementing the calculation based on the 1-norm. It failed my system-level examination because it used the wrong norm.

— Mark L. Stone

@MarkL.Stone: Oh... that's a pity! Having said that, I don't know if you were using an particular hardware configuration or something but to begin with coding a norm calculation from scratch is no-no; there are mathematics libraries one should use to avoid such issues altogether.

— usεr11852 says Reinstate Monic