গ্রাফ ল্যাপ্লাসিয়ান (বিপরীত) কোভারিয়েন্সের সাথে মাল্টিভারিয়েট গাউসিয়ান থেকে নমুনা

আমরা থেকে জানি উদাঃ Koutis-মিলার-পেং (Spielman & তেং কাজের উপর ভিত্তি করে), যে আমরা খুব দ্রুত রৈখিক সিস্টেম সমাধান করতে পারে ম্যাট্রিক্স জন্য অ-নেতিবাচক প্রান্ত ওজন সঙ্গে কিছু বিক্ষিপ্ত গ্রাফ এর জন্য গ্রাফ Laplacian ম্যাট্রিক্স হয় । $A x = b$ $A$

এখন (প্রথম প্রশ্ন) এই গ্রাফের মধ্যে ল্যাপলাসিয়ান ম্যাট্রিকেস এটিকে কোভারিয়েন্স হিসাবে ব্যবহার করার বিষয়টি বিবেচনা করুন বা (দ্বিতীয় প্রশ্ন) একটি শূন্য-গড় মাল্টিভারিয়েট স্বাভাবিক বিতরণ , বা । এই প্রতিটি ক্ষেত্রেই আমার দুটি প্রশ্ন রয়েছে: $A$ $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

উ: এই বিতরণ থেকে আমরা কীভাবে দক্ষতার সাথে একটি নমুনা আঁকতে পারি? (সাধারণত একটি নমুনা আঁকতে, আমরা কোলেস্কি পচন গণনা করি , একটি স্ট্যান্ডার্ড স্বাভাবিক আঁকুন , তারপরে একটি নমুনা as হিসাবে গণনা )। $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

খ। আমরা কতটা দক্ষতার সাথে এর নির্ধারক গণনা করতে পারি ? $A$

নোট করুন যে এগুলি দু'টি সহজেই একটি কোলেস্কি পঁচার কারণে সমাধান করা যেতে পারে তবে আমি কেবলমাত্র স্ট্যান্ডার্ড স্পার্স কোলেস্কি অ্যালগরিদম ব্যবহারের চেয়ে কীভাবে আরও কার্যকরভাবে বের করতে পারি তা তাত্ক্ষণিকভাবে দেখছি না , যা উপরোক্ত রেফারেন্সে উপস্থাপিত কৌশলগুলি ব্যবহার করবে না কাজ করে এবং এতে বিচ্ছুরিত-তবে-উচ্চ-গাছপালার গ্রাফগুলির জন্য কিউবিক জটিলতা থাকবে। $L$

— dan_x
সূত্র

আমি মনে করি আপনি উভয় ক্ষেত্রেই কী "দক্ষ" হিসাবে বিবেচনা করবেন তা সম্পর্কে কিছুটা সুনির্দিষ্ট হতে সহায়তা করতে পারে help "দক্ষ" কি "কোলেস্কি পচে যাওয়ার উপর নির্ভরশীল নয়" এর মতো?

— সুরেশ ভেঙ্কট

পরামর্শের জন্য ধন্যবাদ. এটি সম্ভব সমস্ত প্রশ্নের উত্তর হ'ল "আপনার Cholesky পচন গণনা করা দরকার, এবং ম্যাট্রিক্সের স্বল্পতা ছাড়িয়ে কোনও কাঠামোই লাভ করা যায় না।" আমি এটি সত্য কিনা তা জানতে আগ্রহী (তবে আমি আশা করি এটি সত্য নয়)। শেষ অনুচ্ছেদে "দক্ষতার সাথে" সম্মানের সাথে, হ্যাঁ, আমি বেশিরভাগই স্ট্যান্ডার্ড স্পার্স কোলেস্কি অ্যালগরিদমগুলির চেয়ে বেশি দক্ষতার সাথে বলতে চাই। যদিও যদি কোনও উপায়ে রেফারেন্সযুক্ত কাজের কৌশলগুলি ব্যবহার করা যায় তবে চোলসিকে অন্যভাবে যেভাবে করা যায় তত দ্রুত গননা করার জন্য, এটিও আকর্ষণীয় হবে।

— dan_x

আপনি যদি থেকে নমুনা নিতে চান তবে আপনি যে ব্যবহার করতে পারেন , সেখানে গ্রাফের ঘটনা ম্যাট্রিক্স। সুতরাং, আপনি standard ( প্রান্তগুলি) এ একটি আদর্শ গাউসিয়ান থেকে নমুনা নিতে পারেন এবং রৈখিক রূপান্তর প্রয়োগ করতে পারেন । এটি কীভাবে নীচের পরামর্শগুলির সাথে তুলনা করে তা আমি জানি না, তবে আপনার কোলেস্কি পচে যাওয়া গণনা করার দরকার নেই।

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— লরেঞ্জো নাজত

এখানে দুটি পৃথক ইস্যু রয়েছে।

প্রয়োগ করতে কীভাবে জন্য দক্ষ সলভার ব্যবহার করবেন । $Ax=b$ $A^{1/2}b$
নির্ধারককে কীভাবে গণনা করা যায়।

সংক্ষিপ্ত উত্তরগুলি হল 1) যৌক্তিক ম্যাট্রিক্স ফাংশন অনুমান ব্যবহার করুন এবং 2) আপনার না, তবে আপনাকে কোনওভাবেই দরকার নেই। আমি নীচে এই দুটি বিষয় সম্বোধন করছি।

ম্যাট্রিক্স বর্গমূলের আনুমানিকতা

এখানে ধারণা হ'ল স্কেলার ফাংশনগুলির জন্য একটি যৌক্তিক ফাংশন আনুমানিককরণকে ম্যাট্রিক্স ফাংশনগুলির জন্য যৌক্তিক ফাংশন অনুমানের মধ্যে রূপান্তর করা।

আমরা জানি যে এখানে বুদ্ধিমান ফাংশন রয়েছে যা বর্গমূলের ফাংশনটি প্রায় ভালভাবে অনুমান করতে পারে, ইতিবাচক জন্য । প্রকৃতপক্ষে, অন্তর উচ্চতর নির্ভুলতা পাওয়ার জন্য আপনাকে সিরিজের পদ প্রয়োজন। উপযুক্ত ওজন ( ) এবং খুঁটি ( ) পেতে, কেবল অনলাইনে বা কোনও বইয়ে যুক্তিযুক্ত ফাংশনটি সন্ধান করুন।

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

এখন আপনার ম্যাট্রিক্সে এই যুক্তিযুক্ত ফাংশনটি প্রয়োগ করার কথা বিবেচনা করুন:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

প্রতিসাম্য বকেয়া , আমরা যেখানে হ'ল এর একক মান পচন (SVD) । সুতরাং, যৌক্তিক ম্যাট্রিক্সের আনুমানিকতার গুণমান ইগেনভ্যালুগুলির স্থানে যৌক্তিক ফাংশন সান্নিধ্যের মানের সমতুল্য। $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

অবস্থার সংখ্যা বাচক দ্বারা , আমরা আবেদন করতে পারেন সম্পাদন দ্বারা কোন পছন্দসই সহনশীলতা ফর্ম, এর ইতিবাচক স্থানান্তরিত গ্রাফ Laplacian সমাধান $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

এই সমাধানগুলি আপনার পছন্দের গ্রাফ ল্যাপ্লাসিয়ান সলভারের সাহায্যে করা যেতে পারে — আমি মাল্টিগ্রিড টাইপের কৌশল পছন্দ করি তবে আপনি যে কাগজে উদ্ধৃত করেছেন তাতে খুব ভাল হওয়া উচিত। অতিরিক্ত কেবলমাত্র রূপান্তরকে সহায়তা করে। $bI$

এটি নিয়ে আলোচনার জন্য একটি দুর্দান্ত কাগজ, সেইসাথে আরও সাধারণ জটিল বিশ্লেষণ কৌশল যা অংকিত ম্যাট্রিকগুলিতে প্রযোজ্য , হ্যাল, হিগহাম, এবং ট্র্যাফেনের (২০০ cont কনট্যুর ইন্টিগ্রালগুলির দ্বারা কম্পিউটারের , , এবং সম্পর্কিত ম্যাট্রিক্স ফাংশন দেখুন $A^α$ $\log(A)$ )।

নির্ধারক "গণনা"

নির্ধারক গণনা করা কঠিন। যতদূর আমি জানি, সবচেয়ে ভাল উপায় হল কিউআর অ্যালগরিদম ব্যবহার করে শুর পচন গণনা করা, তারপরে উপরের ত্রিভুজাকার ম্যাট্রিক্স এর তির্যকটি থেকে ইগেনভ্যালুগুলি পড়ুন । এটি সময় নেয়, যেখানে গ্রাফের নোডের সংখ্যা । $A = Q U Q^*$ $U$ $O(n^3)$ $n$

তবে নির্ধারক গণনা করা একটি স্বভাবতই অসুস্থ শর্তযুক্ত সমস্যা, সুতরাং আপনি যদি কখনও একটি কাগজ পড়েন যা একটি বৃহত ম্যাট্রিক্সের কম্পিউটিং নির্ধারকদের উপর নির্ভর করে তবে আপনার পদ্ধতিটি সম্পর্কে খুব সংশয়ী হওয়া উচিত।

ভাগ্যক্রমে, আপনার সম্ভবত সম্ভবত নির্ধারকের প্রয়োজন নেই। উদাহরণ স্বরূপ,

একক গাউসীয় ডিস্ট্রিবিউশন থেকে নমুনাগুলি আঁকতে , সাধারণীকরণের ধ্রুবকটি সমস্ত পয়েন্টে সমান তাই আপনাকে কখনই এটি গণনা করার দরকার নেই। $N(0,A^{-1})$
যদি আপনার ল্যাপ্লাসিয়ান ম্যাট্রিক্স কোনও স্থানীয় গাউসীয় বিপরীত বিন্দু এ কোনও গাওসিয়ান বিতরণে উপস্থাপন করে, তবে নির্ধারকটি সত্যই পয়েন্ট থেকে পয়েন্টে পরিবর্তিত হয়। যাইহোক, প্রতিটি কার্যকর নমুনা প্রকল্পে আমি জানি (মার্কভ চেইন মন্টি কার্লো, গুরুত্বের নমুনা ইত্যাদিসহ) আপনাকে যা প্রয়োজন তা হ'ল নির্ধারক অনুপাত , যেখানে হ'ল বর্তমান বিন্দু, এবং প্রস্তাবিত পরবর্তী নমুনা। $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

আমরা সনাক্ত করতে a একটি নিম্ন-স্তরের আপডেট হিসাবে দেখতে পারি, যেখানে কার্যকর নিম্ন-র‌্যাঙ্ক আপডেটের র‌্যাঙ্ক, , স্থানীয় গাঁথুনির আসল বন্টন কীভাবে হয় তার স্থানীয় পরিমাপ; সাধারণত এটি ম্যাট্রিক্সের পুরো র‌্যাঙ্কের চেয়ে অনেক কম। প্রকৃতপক্ষে, যদি বড় হয়, তবে সত্যিকারের বিতরণটি স্থানীয়ভাবে এতটাই অ-গাউসিয়ান যে স্থানীয় গাউসীয় অনুমানগুলি ব্যবহার করে এই বিতরণকে নমুনা দেওয়ার চেষ্টা করার পুরো কৌশলটি নিয়ে প্রশ্ন করা উচিত। $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

এবং রেটমাইজড এসভিডি বা ল্যাঙ্কজোসের সাথে ম্যাট্রিক্স থেকে বিভিন্ন ভেক্টর প্রয়োগ করে নিম্ন-স্তরের উপাদানগুলি পাওয়া যেতে পারে , যার প্রতিটি প্রয়োগের জন্য একটি গ্রাফের প্রয়োজন ল্যাপ্লেসিয়ার দ্রবণ। সুতরাং এই নিম্ন স্তরের উপাদানগুলি পাওয়ার জন্য সামগ্রিক কাজ হ'ল । $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

জানা , নির্ধারক অনুপাত তারপর $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

এই নিম্ন র‌্যাঙ্ক নির্ধারণকারী রেশন গণনা কৌশলগুলি মার্টিন, ইত্যাদি আল-এর দ্বারা ভূমিকম্পের বিপরীকরণের প্রয়োগের সাথে লার্জ-স্কেল স্ট্যাটিসটিকাল ইনভার্স সমস্যা সম্পর্কিত একটি স্টোকাস্টিক নিউটন এমসিএমসি পদ্ধতিতে পাওয়া যাবে । (2012)। এই কাগজটিতে এটি ধারাবাহিক সমস্যার ক্ষেত্রে প্রয়োগ করা হয়, সুতরাং "গ্রাফ" 3 ডি স্পেসে একটি গ্রিড এবং গ্রাফ ল্যাপল্যাসিয়ান হ'ল আসল ল্যাপ্লেসিয়ান ম্যাট্রিক্স। যাইহোক, সমস্ত কৌশলগুলি সাধারণ গ্রাফ ল্যাপল্যাকিয়ানদের ক্ষেত্রে প্রযোজ্য। এই কৌশলটি এখনই সাধারণ গ্রাফগুলিতে প্রয়োগ করার জন্য সম্ভবত অন্যান্য কাগজপত্র রয়েছে (এক্সটেনশনটি তুচ্ছ এবং মূলত যা আমি লিখেছিলাম)।

— নিক অ্যালজার
সূত্র