ম্যাট্রিক্স সীমাবদ্ধতার সাথে লিনিয়ার প্রোগ্রামিং

সংক্ষিপ্ত বিবরণ

আপনি মাল্টিপ্লায়ার্সের বিকল্প নির্দেশাবলী পদ্ধতি (এডিএমএম) এর একটি বৈকল্পিক চেষ্টা করতে চাইতে পারেন , যা লাসো টাইপ সমস্যার জন্য আশ্চর্যজনকভাবে দ্রুত রূপান্তরিত করতে পাওয়া গেছে । কৌশলটি হ'ল একটি বাড়ানো ল্যাঙ্গরিজিয়ানের সাথে সমস্যাটি তৈরি করা এবং তারপরে দ্বৈত সমস্যার বিষয়ে গ্রেডিয়েন্ট অ্যাসেন্ট করা। এই বিশেষ নিয়মিত সমস্যাটির জন্য এটি বিশেষত দুর্দান্ত কারণ পদ্ধতির প্রতিটি পুনরাবৃত্তির অবিরাম অংশটির একটি সঠিক সমাধান রয়েছে যা আপনি কেবল উপাদান দ্বারা উপাদানটি মূল্যায়ন করতে পারেন, যখন মসৃণ অংশটি একটি রৈখিক ব্যবস্থা সমাধানের সাথে জড়িত। $l_1$ $l^1$

এই পোস্টে আমরা

আপনার সমস্যার সাধারণীকরণের জন্য সামগ্রিক এডিএমএম সূত্র তৈরি করুন,
প্রতিটি এডিএমএম পুনরাবৃত্তির জন্য সাব-প্রবলেমগুলি উত্পন্ন করুন এবং সেগুলি আপনার অবস্থাতে বিশেষত করুন এবং তারপরে
ফলস্বরূপ লিনিয়ার সিস্টেমটি অনুসন্ধান করুন যা প্রতিটি পুনরাবৃত্তিকে সমাধান করা দরকার এবং এবং জন্য ইগেনভ্যালু পচন (বা এর নিম্ন স্তরের আনুমানিকতা) পূর্বনির্মাণের উপর ভিত্তি করে একটি দ্রুত দ্রাবক (বা পূর্বশর্ত) বিকাশ করুন । $M^TM$ $YY^T$
কয়েকটি সমাপ্তি মন্তব্য সহ সংক্ষেপে

এখানে বেশিরভাগ বড় ধারণাগুলি নিম্নলিখিত চমত্কার পর্যালোচনা কাগজে আচ্ছাদিত রয়েছে,

বয়েড, স্টিফেন, ইত্যাদি। "গুণকগুলির বিকল্প দিকনির্দেশ পদ্ধতির মাধ্যমে বিতরণযোগ্য অপ্টিমাইজেশান এবং পরিসংখ্যানগত শিক্ষণ।" ফাউন্ডেশন এবং ট্রেন্ডস® মেশিন লার্নিংয়ে ৩.১ (২০১১): 1-122। http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

বিশদে যাওয়ার আগে, আমি নোট করতে চাই যে এটি একটি পদ্ধতি / অ্যালগোরিদমের উত্তর যা ব্যবহারিক বিদ্যমান কোডের উত্তর নয় - আপনি যদি এই পদ্ধতিটি ব্যবহার করতে চান তবে আপনার নিজের প্রয়োগটি রোল করতে হবে।

এডিএমএম প্রণয়ন

সাধারণভাবে, ধরুন আপনি সমাধান করতে চান

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

মূল পোস্টে সমস্যা যথাযথ ভেক্টরাইজেশনের পরে এই বিভাগে আসে। (এটি কেবল নীতিগতভাবেই - আমরা দেখব যে অনুশীলনে ভেক্টরাইজেশন করার দরকার নেই)

আপনি এর পরিবর্তে সমতুল্য সমস্যা সমাধান করতে পারতেন, যা লাগরজিয়ান

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

পরিবর্তনের দিকনির্দেশ পদ্ধতি দ্বৈত ভেরিয়েবলের সাথে গ্রেডিয়েন্ট মাধ্যমে দ্বৈত সমস্যা সমাধান করে except দ্বৈত subproblems উপর অলক্ষ্য বিকল্প অনুমান। অর্থ্যাৎ, পুনরাবৃত্তিটি

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

এবং পরামিতিগুলির উপর কিছু হালকা অবস্থার অধীনে (উপরে লিঙ্কিত বয়ড ও পরীখ পত্রিকায় ব্যাখ্যা করা হয়েছে), এডিএমএম পদ্ধতিটি সত্য সমাধানে রূপান্তর করবে। রূপান্তর হারটি লিনিয়ার, কারণ এটি মূলত একটি গ্রেডিয়েন্ট অ্যাসেন্ট পদ্ধতি। প্রায়শই 1 দিয়ে সুপারলাইনার হিসাবে ত্বরান্বিত করা যেতে পারে) আপনি হিউরিস্টিকের ভিত্তিতে যেমন প্যারামিতিগুলি এবং পরিবর্তন করেন , বা 2) নেস্টারভ ত্বরণ ব্যবহার করে। জরিমানার পরামিতিগুলি পরিবর্তনের বিষয়ে নোটগুলির জন্য, বয়ড জরিপ কাগজটি দেখুন, এবং এডিএমএম সহ নেস্টারভ ত্বরণ ব্যবহারের জন্য নীচের কাগজটি দেখুন, $\alpha$ $\beta$ $\alpha$ $\beta$

গোল্ডস্টেইন, টম, ব্রেন্ডন ও ডোনোগ এবং সাইমন সেট্জার। "দ্রুত বিকল্পের দিকনির্দেশ অপ্টিমাইজেশন পদ্ধতিগুলি" " সিএএম রিপোর্ট (2012): 12-35। ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

তবে, সামগ্রিক রূপান্তর হারটি শুধুমাত্র লিনিয়ার হলেও, সমস্যার জন্য পদ্ধতিটি খুব দ্রুত স্পারসিটি প্যাটার্নটি সন্ধান করতে দেখা গেছে, এবং তারপরে সঠিক মানগুলিতে আরও ধীরে ধীরে রূপান্তরিত করতে হবে। যেহেতু স্পারসিটি প্যাটার্ন সন্ধান করা সবচেয়ে শক্ত অংশ, এটি খুব ভাগ্যবান! সঠিক গবেষণার ক্ষেত্র বলে মনে হচ্ছে সঠিক কারণগুলি। সকলেই স্পারসিটি প্যাটার্নটি দ্রুত রূপান্তরিত করতে দেখেন, তবে কেন এটি ঘটে তা সঠিকভাবে কেউ জানেন না। কিছুক্ষণ আগে আমি বয়ড এবং পরিককে ইমেলের মাধ্যমে এই বিষয়ে জিজ্ঞাসা করেছি এবং পরিক ভেবেছিল একটি নিয়ন্ত্রণ সিস্টেমের প্রসঙ্গে পদ্ধতিটির ব্যাখ্যা দিয়ে এটি ব্যাখ্যা করা যেতে পারে। ঘটনাটির আর একটি হিউরিস্টিক ব্যাখ্যা নীচের কাগজের পরিশিষ্টে পাওয়া গেছে, $l^1$

গোল্ডস্টিন, টম এবং স্ট্যানলি ওশার। "এল 1-নিয়মিত সমস্যাগুলির জন্য বিভক্ত গ্রেগম্যান পদ্ধতি" " স্যাম জার্নাল ইন ইমেজিং সায়েন্সেস ২.২ (২০০৯): 323-343। ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

অবশ্যই এখন অসুবিধাটি আপনার নির্দিষ্ট পরিস্থিতির জন্য এবং আপডেট সাব- সমস্যাগুলি সমাধান করার মধ্যে lies যেহেতু ল্যাঙ্গরজিয়ান চতুর্ভুজ , আপডেট সাবপ্রব্লেমটি কেবল একটি রৈখিক সিস্টেম সমাধান করা প্রয়োজন। subproblem কঠিন বলে মনে হয় যেহেতু এটি nondifferentiable, কিন্তু এটি সক্রিয় আউট সমাধান উপাদান প্রয়োগ উপাদান হতে পারে একটি সঠিক সূত্র নেই! আমরা এখন এই সাব-সমস্যাগুলি আরও বিশদে আলোচনা করব এবং তাদের মূল পোস্টে সমস্যার জন্য নির্দিষ্ট করব। $x$ $z$ $z$ $z$ $x$

আপডেট সাবপ্রব্লেম (লিনিয়ার সিস্টেম) জন্য সেটআপ $z$

জন্য আপডেট, আমরা আছে $z$

{একটি R ছ মি আমি এন}_{z- র} এল ({এক্স}_{ট}, z- র, λ_{ট}, γ_{ট}) = {একটি R ছ মি আমি এন}_{z- র} \frac{α}{2} | | এক্স - z- র + + \frac{1}{α} γ | |^{2} + + \frac{β}{2} | | একজন z- র - খ + + \frac{1}{β} λ | |^{2} ।

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

আপনার সমস্যার জন্য এটি হয়ে ওঠে,

\begin{aligned} {একটি R ছ মি আমি এন}_{{জেড}_{জে}, {জেড}_{বি}} & \frac{α}{2} | | {জে}^{ট + + 1} - {জেড}_{জে} + + \frac{1}{α} Γ_{জে} | |_{এফ R ণ}^{2} + + \frac{α}{2} | | {বি}^{ট + + 1} - {জেড}_{বি} + + \frac{1}{α} Γ_{বি} | |_{এফ R ণ}^{2} \\ + + \frac{β}{2} | | এম {জেড}_{জে} + + {জেড}_{বি} ওয়াই - এক্স + + \frac{1}{α} Λ | |_{এফ R ণ}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

যেখানে ( ) আদর্শকে বোঝায় । এটি একটি চতুর্ভুজ কমানোর সমস্যা, যেখানে এবং সাথে উদ্দেশ্যটির আংশিক ডেরিভেটিভস গ্রহণ করে এবং শূন্যে স্থাপন করে প্রথম আদেশের অনুকূল অনুকূলতাটি পাওয়া যায় । এটি হ'ল, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} ({জে}^{ট + + 1} - {জেড}_{জে} + + \frac{1}{α} Γ_{জে}) + + \frac{β}{2} {এম}^{টি} (এম {জেড}_{জে} + + {জেড}_{বি} ওয়াই - এক্স + + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} ({বি}^{ট + + 1} - {জেড}_{বি} + + \frac{1}{α} Γ_{বি}) + + \frac{β}{2} (এম {জেড}_{জে} + + {জেড}_{বি} ওয়াই - এক্স + + \frac{1}{β} Λ) {ওয়াই}^{টি} । \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

মূল পোস্টার জাস্টিন সলোমন-এর মন্তব্যে যেমন উল্লেখ করা হয়েছে, জন্য এই সিস্টেমটি প্রতিসম হয় তাই গ্রেডিয়েন্ট একটি আদর্শ ম্যাট্রিক্স-মুক্ত পদ্ধতি। পরবর্তী বিভাগে এই সিস্টেমটি এবং এটি কীভাবে আরও বিশদভাবে সমাধান করা / পূর্বশর্ত করা যায় তা নিয়ে আলোচনা করা হয়েছে। $Z_J,Z_B$

সমাধান আপডেট subproblem (বিশ্লেষণমূলক থ্রেশহোল্ডিং সলিউশন) $x$

এখন আমরা , $x$

{একটি R ছ মি আমি এন}_{এক্স} এল (এক্স, {z- র}^{ট}, λ^{ট}, γ^{ট}) = {একটি R ছ মি আমি এন}_{এক্স} \underset{আমি}{Σ} | {এক্স}_{আমি} | + + \frac{α}{2} | | এক্স - {z- র}^{ট} + + \frac{1}{α} γ^{ট} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

প্রথমটি দেখার বিষয়টি হল যে যোগফলটি উপাদান দ্বারা হতে পারে,

\underset{আমি}{Σ} | {এক্স}_{আমি} | + + \frac{α}{2} | | এক্স - {z- র}^{ট} + + \frac{1}{α} γ^{ট} | |^{2} = \underset{আমি}{Σ} | {এক্স}_{আমি} | + + \frac{α}{2} \underset{আমি}{Σ} ({এক্স}_{আমি} - {z- র}_{আমি}^{ট} + + \frac{1}{α} γ_{আমি}^{ট})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

সুতরাং আমরা সমান্তরালভাবে উপাদান দ্বারা অনুকূলকরণ সমস্যা উপাদানটি সমাধান করতে পারি

{এক্স}_{আমি}^{ট + + 1} = {একটি R ছ মি আমি এন}_{{এক্স}_{আমি}} | {এক্স}_{আমি} | + + \frac{α}{2} ({এক্স}_{আমি} - {z- র}_{আমি}^{ট} + + \frac{1}{α} γ_{আমি}^{ট})^{2} ।

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

এই সমীকরণের সাধারণ ফর্মটি হল,

\underset{গুলি}{সর্বনিম্ন} | গুলি | + + \frac{α}{2} (গুলি - টি)^{2} ।

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

পরম মান ফাংশনটি দিকে অনুকূল বিন্দুটি টানতে চেষ্টা করছে , যেখানে চতুর্ভুজ শব্দটি দিকে অনুকূল বিন্দুটি টানতে চেষ্টা করছে । সত্য সমাধান অতএব কোথাও সেগমেন্ট মিথ্যা বৃদ্ধি সঙ্গে দুই মধ্যবর্তী চরাচ্ছে প্রতি অনুকূল বিন্দু টান , এবং হ্রাস প্রতি অনুকূল বিন্দু কাছে । $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

এটি উত্তল ফাংশন তবে এটি শূন্যের সাথে পৃথক নয়। ন্যূনতম বিন্দুর শর্তটি হ'ল সেই বিন্দুতে উদ্দেশ্যটির subdeivative শূন্য থাকে। চতুর্ভুজ পদটি ডেরাইভেটিভ এবং পরম মান ফাংশনটি জন্য ডেরিভেটিভ , অন্তর হিসাবে সেট-মূল্যবান সাবডেরিভেটিভ যখন , এবং জন্য ডেরিভেটিভ । সুতরাং আমরা সামগ্রিক উদ্দেশ্য ফাংশন, der আংশিক_স rac এর subdeivative পাই $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

এই থেকে আমরা দেখতে যে উদ্দেশ্য নিয়ে subderivative রয়েছে যদি এবং কেবল যদি , সেক্ষেত্রে মিনিমাইজার। অন্যদিকে, যদি মিনিমাইজার না হয় তবে আমরা একক-মূল্যবান ডেরিভেটিভকে শূন্যের সমান এবং মিনিমাইজারের জন্য সমাধান করতে পারি। এই , $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

এই আমরা আবারও আসল সমস্যার সমাধানের জন্য চেষ্টা করছি যেখানে আমরা মূল প্রশ্নের সমাধান করতে চাইছি যেখানে ফলন, এর আপডেটটি কেবল $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

হিসাবে মন্তব্যগুলিতে মূল পোস্টার জাস্টিন সলোমন দ্বারা উল্লিখিত। সামগ্রিকভাবে, জন্য আপডেট করার জন্য আপনার ম্যাট্রিকের প্রবেশের মধ্য দিয়ে লুপিং করা প্রয়োজন এবং প্রতিটি প্রবেশের জন্য উপরের সূত্রগুলি মূল্যায়ন করা দরকার। $J,B$

সিস্টেমের জন্য শুরুর পরিপূরক $Z_J,Z_B$

পুনরাবৃত্তির সবচেয়ে ব্যয়বহুল পদক্ষেপ হ'ল সিস্টেমটি সমাধান করা,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

এই লক্ষ্যে, এই সিস্টেমের জন্য একটি ভাল দ্রাবক / পূর্বশর্ত তৈরির জন্য কিছু প্রচেষ্টা মূল্যবান। এই বিভাগে আমরা ভেক্টরাইজিং করে , শুরের পরিপূরক গঠন করে , কিছু ক্রনোয়েকার পণ্য ম্যানিপুলেশন করে এবং তারপরে অবমুক্তকরণের মাধ্যমে এটি করি। ফলস্বরূপ শুর পরিপূরক সিস্টেমটি সামান্য পরিবর্তিত সিলভেস্টার সমীকরণ ।

ভেক্টরাইজেশন এবং ক্রোনেকার পণ্যগুলি সম্পর্কে নিম্নলিখিত শনাক্তকরণগুলির অনুসরণগুলি একেবারে কী:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , এবং
$(A \otimes B)^T = A^T \otimes B^T$ ।

এই পরিচয়গুলি যখনই ম্যাট্রিক্সের আকার এবং বৈকল্পিকতা এমন হয় তখন সমীকরণের প্রতিটি পক্ষই একটি বৈধ এক্সপ্রেশন।

সিস্টেমটির ভেক্টরাইজড ফর্মটি হ'ল,

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

বা,

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e গ (Z_{বি}) \end{matrix}] = [\begin{matrix} বনাম ই গ (এফ) \\ বনাম ই গ (জি) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

যেখানে এবং ডান হাতের জন্য সংক্ষেপিত স্বরলিপি রয়েছে। ক্রোনেক্কার পণ্যগুলিকে ঘনীভূত করার প্রক্রিয়াতে এখন আমরা ম্যাট্রিক্সের নীচের বাম ব্লকটি অপসারণের জন্য ব্লক-গাউসিয়ান-এলিমিনেশন / শুর পরিপূরক সম্পাদন করি। এটি হ'ল, $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

আনভেক্টরাইজিং, দুটি ক্রিয়াকলাপে আমাদের সমাধান করতে হবে দুটি সমীকরণ,

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

বর্গক্ষেত্রযুক্ত, উচ্চ পদমর্যাদার যখন শুর পরিপূরক সিস্টেমের সমাধান $Y,M$

এই বিভাগে আমরা জন্য পরিপূরক সিস্টেমটি সমাধান (উপরে সমীকরণ 1) ম্যাট্রিক্সের প্রাক্পম্পিউটেড পূর্ণ এসভিডি ব্যবহার করে এবং সিলভেস্টারের জন্য বার্টেলস-স্টুয়ার্ট অ্যালগরিদমের একটি পরিবর্তিত সংস্করণ প্রয়োগ করে সমীকরণ। দ্বিতীয় টার্মে অতিরিক্ত অ্যাকাউন্টে অ্যালগরিদমটি স্ট্যান্ডার্ড সংস্করণ থেকে কিছুটা সংশোধন করা হয়েছে , যা এটি একেবারে সিলভেস্টারের সমীকরণ নয় makes প্রথম সমীকরণের মাধ্যমে একবার পাওয়া গেলে , দ্বিতীয় সমীকরণ থেকে খুব সহজেই পাওয়া যাবে। দ্বিতীয় সমীকরণটি আপনার পছন্দ মতো যে কোনও পদ্ধতির মাধ্যমে সমাধান করার জন্য তুচ্ছ। $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

এডিএমএম প্রক্রিয়া শুরুর আগে এই পদ্ধতিতে দুটি পূর্ণ এসভিডি প্রম্পট করার জন্য একটি সামনের ব্যয় প্রয়োজন, তবে এটি প্রকৃত এডিএমএম পুনরাবৃত্তিতে প্রয়োগ করা দ্রুত। যেহেতু পদ্ধতিটি সীমাবদ্ধ ম্যাট্রিকগুলির সম্পূর্ণ এসভিডিগুলি নিয়ে কাজ করে, তাই তারা বর্গক্ষেত্র এবং উচ্চ স্তরের কাছাকাছি থাকলে উপযুক্ত is নিম্ন র‌্যাঙ্কের এসভিডি ব্যবহার করে আরও জটিল পদ্ধতিও সম্ভব, তবে পরবর্তী বিভাগে উপস্থাপন করা হয়েছে।

পদ্ধতিটি নিম্নলিখিত হিসাবে বিকাশ লাভ করে। যাক বোঝাতে precomputed পূর্ণ একবচন মান decompositions, এবং ডান দিকে ঘনীভূত হতে । তারপর প্রথম সমীকরণ রূপান্তরিত হবে গুন বাম এবং ডান পরিষ্কার করতে এবং অস্থায়ী অজানা সেট করার জন্য অরথোগোনাল কারণগুলি দ্বারা এটি আরও পরিণত হয়,

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

এখন আমরা তির্যক সিস্টেমটি সমাধান করে খুঁজে পেতে পারি , $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

পাওয়া রয়ে , আমরা গনা এবং জানতেন আমরা জন্য উপরে দ্বিতীয় সমীকরণ সমাধান , যা তুচ্ছ যেহেতু আমরা ইতিমধ্যে জন্য eigenvalue পচানি আছে । $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

আপফ্রন্ট ব্যয়টি এবং দুটি প্রতিসম ধনাত্মক সুনির্দিষ্ট ইগেনুয়ালু পচন গণনা করছে এবং তারপরে সম্পূর্ণ সমাধানের জন্য ব্যয়-প্রতি-পুনরাবৃত্তি মুষ্টিমেয় ম্যাট্রিক্স-ম্যাট্রিক্স গুণণের দ্বারা আধিপত্য বজায় রাখে, যা একই ক্রমে একই 1 সিজি সাবাইট্রেশন করার মতো পরিমাণ। যদি সম্মুখভাগের ইগেনুয়ালু পচনগুলি খুব ব্যয়বহুল হয় তবে তাদের যথাযথভাবে গণনা করা যেতে পারে, উদাহরণস্বরূপ, ল্যাঙ্কসোস পুনরাবৃত্তিটি প্রথম দিকে শেষ করে এবং বৃহত্তম ইগেনভেেক্টর রেখে keeping তাহলে পদ্ধতিটি সরাসরি সলভারের চেয়ে সিজির জন্য ভাল পূর্বশর্ত হিসাবে ব্যবহার করা যেতে পারে। $M^TM$ $YY^T$

সমাধান পদ্ধতি যখন খুব আয়তক্ষেত্রাকার হয় বা কম র‌্যাঙ্কের প্রায় হয় $M,Y$

এখন আমরা সমাধান করার বা পূর্বশর্ত করার দিকে আমাদের দৃষ্টি যখন হয় ক) খুব আয়তক্ষেত্রাকার - যার অর্থ কলাম বা বিপরীতে এর চেয়ে অনেক বেশি সারি রয়েছে - বা খ) তাদের কম র‌্যাঙ্কের সান্নিধ্য রয়েছে। নীচের উপকরণটি উডবারি সূত্র, শুর পরিপূরক এবং অন্যান্য অনুরূপ হেরফেরগুলির ব্যাপক ব্যবহারের সাথে জড়িত। $Z_J,Z_B$ $M,Y$

আমরা আমাদের শুর পরিপূরক সিস্টেমটি দিয়ে শুরু করি,

(α আমি + + β ওয়াই {ওয়াই}^{টি}) \otimes আমি - β^{2} ওয়াই {ওয়াই}^{টি} \otimes এম (α আমি + + β {এম}^{টি} এম)^{- 1} {এম}^{টি} ।

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

কয়েকটি হেরফের এই সিস্টেমটিকে আরও একসম্মত আকারে রূপান্তরিত করে,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

এখন আমরা নিম্ন র‌্যাঙ্কের আনুমানিকতা আনি। যাক হতে পারেন কমে SVD বা কম র্যাঙ্ক অনুমান এবং ( একটি স্থানধারক হয় and is নয় ব্যবহৃত হয়)। আমাদের সিস্টেমে এগুলি প্রতিস্থাপনের ফলে আমরা প্রয়োগ করতে চাইলে নিম্নলিখিত ম্যাট্রিক্স বিপরীত ফল পাওয়া যায়,

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

যেহেতু আমরা ম্যাট্রিক্সটি উল্টাতে চেয়েছি সে পরিচয়টির জন্য নিম্ন-র‌্যাঙ্কের আপডেট, লজিক্যাল কৌশলটি হ'ল উডবারি সূত্রটি ব্যবহার করার চেষ্টা করা,

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

যাইহোক, নিম্ন-স্তরের টুকরো এবং না থেকে কিছু যত্ন নেওয়া দরকার । সুতরাং উডবারি সূত্রটি প্রয়োগ করতে আমরা উভয় নিম্ন স্তরের আপডেট একক বড় আপডেটে সংগ্রহ করি। তাই না এবং উডবারি সূত্র ফলন প্রয়োগ করে, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} আমি + + β [\begin{matrix} আমি \otimes ওয়াট & প্রশ্নঃ \otimes আমি \end{matrix}] [\begin{matrix} আমি \otimes Σ \\ ডি \otimes ওয়াই \end{matrix}] [\begin{matrix} আমি \otimes Σ^{টি} \\ {প্রশ্নঃ}^{টি} \otimes আমি \end{matrix}])}^{- 1} = α আমি - \frac{β}{α^{2}} [\begin{matrix} আমি \otimes ওয়াট & প্রশ্নঃ \otimes আমি \end{matrix}] {[\begin{matrix} আমি \otimes (Σ^{- 1} + + \frac{β}{α} আমি) & \frac{β}{α} প্রশ্নঃ \otimes {ওয়াট}^{টি} \\ \frac{β}{α} {প্রশ্নঃ}^{টি} \otimes ওয়াট & ({ডি}^{- 1} + + \frac{β}{α} আমি) \otimes ওয়াই \end{matrix}]}^{- 1} [\begin{matrix} আমি \otimes Σ^{টি} \\ {প্রশ্নঃ}^{টি} \otimes আমি \end{matrix}] ।

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

মূল বিপরীতটি ব্লকওয়াইজ 2x2 বিপরীতমূলক সূত্র দ্বারা গণনা করা যেতে পারে,

{[\begin{matrix} একজন & বি \\ {বি}^{টি} & সি \end{matrix}]}^{- 1} = [\begin{matrix} (একজন - বি {সি}^{- 1} {বি}^{টি})^{- 1} & - {একজন}^{- 1} বি (সি - {বি}^{টি} {একজন}^{- 1} বি)^{- 1} \\ - {সি}^{- 1} {বি}^{টি} (একজন - বি {সি}^{- 1} {বি}^{টি})^{- 1} & (সি - {বি}^{টি} {একজন}^{- 1} বি)^{- 1} \end{matrix}] ।

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

এই পোস্টটি ইতিমধ্যে যথেষ্ট দীর্ঘ তাই আমি গণনার দীর্ঘ বিবরণগুলি ছাড়ব, তবে শেষ ফলাফলটি হ'ল ব্লকওয়াইস ইনভার্সে প্রয়োজনীয় সাবম্যাট্রিকগুলি প্লাগ করে এবং সামগ্রিক বিপরীতটির জন্য নিম্নোক্ত সুস্পষ্ট ফর্মের মাধ্যমে সমস্ত কিছুকে গুণিত করে, pha

(α আমি + + β আমি \otimes এম {এম}^{টি} + + β ওয়াই {ওয়াই}^{টি} \otimes আমি)^{- 1} = \frac{1}{α} আমি - \frac{β}{α^{2}} ({টি}_{11} + + {গুলি}_{11} + + {টি}_{12} + + {গুলি}_{12} + + {টি}_{21} + + {গুলি}_{21} + + {টি}_{22} + + {গুলি}_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

যেখানে

\begin{aligned} {টি}_{11} & = \frac{α}{β} আমি \otimes ওয়াট ঠ^{- 1} {ওয়াট}^{টি} \\ {গুলি}_{11} & = (প্রশ্নঃ \otimes ওয়াট ঠ^{- 1}) {ডি}_{11} ({প্রশ্নঃ}^{টি} \otimes ঠ^{- 1} {ওয়াট}^{টি}) \\ {টি}_{12} & = - \frac{α}{β} প্রশ্নঃ জ^{- 1} {প্রশ্নঃ}^{টি} \otimes ওয়াট ঠ^{- 1} {ওয়াট}^{টি} \\ {গুলি}_{12} & = - (প্রশ্নঃ জ^{- 1} \otimes ওয়াট ঠ^{- 1}) {ডি}_{22} (জ^{- 1} {প্রশ্নঃ}^{টি} \otimes {ওয়াট}^{টি}) \\ {টি}_{21} & = {টি}_{12} \\ {গুলি}_{21} & = - (প্রশ্নঃ জ^{- 1} \otimes ওয়াট) {ডি}_{22} (জ^{- 1} {প্রশ্নঃ}^{টি} \otimes ঠ^{- 1} {ওয়াট}^{টি}) \\ {টি}_{22} & = \frac{α}{β} প্রশ্নঃ জ^{- 1} {প্রশ্নঃ}^{টি} \otimes আমি \\ {গুলি}_{22} & = (প্রশ্নঃ জ^{- 1} \otimes ওয়াট) {ডি}_{22} (জ^{- 1} {প্রশ্নঃ}^{টি} \otimes {ওয়াট}^{টি}) \\ {ডি}_{11} & = \frac{α}{β} {(জ \otimes আমি - আমি \otimes ঠ^{- 1})}^{- 1} \\ {ডি}_{22} & = \frac{α}{β} {(আমি \otimes ঠ - জ^{- 1} \otimes আমি)}^{- 1} \\ ঠ & = \frac{α}{β} Σ^{- 1} + + আমি \\ জ & = \frac{α}{β} {ডি}^{- 1} + + আমি । \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

এই ফর্মটিতে, আমরা 8 টি বাম এবং ডান ম্যাট্রিক্সের গুণিত স্যান্ডউইচের মাধ্যমে বিপরীত প্রয়োগ করতে পারি এবং শব্দটি টার্ম অনুসারে । পণ্যগুলির যোগফল প্রয়োগের সাধারণ সূত্রটি হ'ল, $Z_B$

(({একজন}_{1} \otimes {বি}_{1}) + + ({একজন}_{2} \otimes {বি}_{2}) + + ...) বনাম ই গ (সি) = বনাম ই গ ({বি}_{1}^{টি} সি {একজন}_{1} + + {বি}_{2}^{টি} সি {একজন}_{2} + + ...) ।

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

নোট করুন যে আমরা যে সমস্ত স্পষ্ট বিপরীতগুলি দিয়ে শেষ করেছি সেগুলি তির্যক, সুতরাং "সমাধান" করার মতো কিছুই নেই।

লিনিয়ার সলভার কোড

আমি উপরের দুটি প্রয়োগ করেছি । দেখে মনে হচ্ছে ভালো কাজ করছে। সলভার কোডটি এখানে। $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

সমাধানকারীদের কাজ এখানে রয়েছে তা যাচাই করার জন্য একটি পরীক্ষা স্ক্রিপ্ট। এটি উদাহরণস্বরূপ দেখায় যে কীভাবে সলভার কোড কল করে।

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

মন্তব্য আখেরী

এডিএমএম-ধরণের পদ্ধতিগুলি এ জাতীয় সমস্যার জন্য উপযুক্ত উপযুক্ত তবে আপনার নিজের প্রয়োগটি রোল করতে হবে। পদ্ধতির সামগ্রিক কাঠামো বেশ সহজ তাই ম্যাটল্যাবের মতো কোনও ক্ষেত্রে বাস্তবায়ন খুব বেশি কঠিন নয়।

আপনার সমস্যার জন্য পদ্ধতিটি সম্পূর্ণরূপে সংজ্ঞায়িত করার জন্য এই পোস্টটি থেকে হারিয়ে যাওয়া টুকরাটি হল পেনাল্টি পরামিতিগুলির একটি পছন্দ । ভাগ্যক্রমে প্যারামিটার ভেলগুলি পাগল না হওয়া পর্যন্ত পদ্ধতিটি সাধারণত বেশ শক্ত। বয়েড এবং পরীখের কাগজটিতে পেনাল্টির প্যারামিটারগুলির একটি বিভাগ রয়েছে যেমন এটি উল্লেখ করা হয়েছে, তবে আপনি যুক্তিসঙ্গত রূপান্তর হার না পাওয়া পর্যন্ত আমি কেবলমাত্র পরামিতিগুলি নিয়ে পরীক্ষা করব। $\alpha,\beta$

উপস্থাপন সমাধানকারী কৌশল অত্যন্ত কার্যকর যদি বাধ্যতা ম্যাট্রিক্স পারেন ক) হয় ঘন, squareish, এবং উচ্চ পদে, অথবা খ) একটি ভাল কম র্যাঙ্ক পড়তা আছে। ভবিষ্যতে কাজের বিষয় হতে পারে এমন আরও একটি কার্যকর সলভার হ'ল নিম্নোক্ত মামলার জন্য অনুকূলিত একটি দ্রাবক হতে পারে - সীমাবদ্ধ ম্যাট্রিক্স বিচ্ছুরণ এবং স্কোয়ারিশ এবং উচ্চ পদমর্যাদার, তবে জন্য একটি ভাল পূর্বশর্ত রয়েছে । এটি ক্ষেত্রে হবে যদি উদাহরণস্বরূপ, একজন বিচ্ছিন্ন ল্যাপল্যাসিয়ান হন। $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— নিক অ্যালজার
সূত্র

এটি এখন বাস্তবায়ন! চেক করার জন্য, এবং জন্য ম্যাট্রিক্স প্রতিসম / ধনাত্মক সুনির্দিষ্ট হওয়া উচিত কারণ এটি কমপক্ষে স্কোয়ার থেকে আসে তাই না? এই অভিজ্ঞতাগতভাবে সত্য বলে মনে হচ্ছে :-)। তাহলে, সিজি কি জিএমআরইএসের চেয়ে ভাল বিকল্প?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— জাস্টিন সলোমন

এছাড়াও, আমি কি বি এর আপডেটটি ভুল বলে মনে করি? আমি এর মাধ্যমে আরও বিশদে কাজ করছি, তবে প্রত্যাহার বি আমার শক্তি ফাংশনে উপস্থিত হবে না (নয় শব্দ), সুতরাং আমি নিশ্চিত নই যে এটি কেবলমাত্র মান গ্রহণ করা উচিত আমি কি এই ভুল সম্পর্কে চিন্তা করছি? ধন্যবাদ!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— জাস্টিন সলোমন

[পরিবর্তে ভুল, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— জাস্টিন সলোমন

অ্যামেজিং! এবং জন্য আমার নিজস্ব সূত্রগুলি রাখার পরে (সম্ভবত আপনি যা পোস্ট করেছেন তার কাছাকাছি / সমতুল্য তবে কিছু কাজ করছে না), এটি আইআরএলএস পদ্ধতির চেয়ে অনেক বেশি কার্যকর। ধন্যবাদ!

J

$J$

B

$B$

— জাস্টিন সলোমন

বড় খবর. এখানে অবদানগুলি যখন সত্য ফলাফলের দিকে নিয়ে যায় তখন দেখতে খুব সুন্দর nice

— মাইকেল গ্রান্ট

আপনি সম্ভবত রৈখিক প্রোগ্রামিংয়ের জন্য একটি ম্যাট্রিক্স-মুক্ত পদ্ধতি ব্যবহার করতে চান। আমি বিশেষত রৈখিক প্রোগ্রামিংয়ের দিকে এগিয়ে যাওয়া কোন পদ্ধতি সম্পর্কে জানি না, তবে চতুর্ভুজ প্রোগ্রামগুলির জন্য এবং সাধারণ ননলাইনারি প্রোগ্রামগুলির জন্য ম্যাট্রিক্স-মুক্ত ইন্টিরিয়র পয়েন্ট পদ্ধতি রয়েছে। চতুর্ভুজ প্রোগ্রামের কেসটি আপনার সমস্যার সাথে হুবহু মিলে যায়, যেখানে চতুর্ভুজ ফর্মের সহগগুলি সমস্ত শূন্য। (আপনি সঠিক পদ্ধতিতে সঠিক পদ্ধতি প্রয়োগ করতে পারেন এমন সমস্যাগুলির সমাধানগুলিও আপনার সমস্যার কাঠামোর সমাধান করতে পারে, তবে এই ধরণের bespoke প্রয়োগ কার্যকর হবে না এবং ম্যাট্রিক্স-মুক্ত পদ্ধতি ব্যবহারের চেয়ে কম ব্যবহারিক is

আমি এমন কোনও বাণিজ্যিক অপ্টিমাইজেশন প্যাকেজ জানি না যা ইন্টিরির পয়েন্ট পদ্ধতির ম্যাট্রিক্স-মুক্ত রূপগুলি প্রয়োগ করে। আইপিওপিটি ননলাইনার প্রোগ্রামিংয়ের জন্য একটি ম্যাট্রিক্স-মুক্ত ইন্টিরিয়র পয়েন্ট পদ্ধতি প্রয়োগ করার কথা, তবে আমি আপনাকে যে এপিআই কলগুলি ব্যবহার করতে সক্ষম করব তা ট্র্যাক করতে সক্ষম হইনি।

সিভিএক্স ছাড়াও, আপনি সম্ভবত ম্যাট্রিক্স একবার ইনপুট করতে জিএএমএস বা এএমপিএল ব্যবহার করতে পারেন এবং সেই ম্যাট্রিক্সটি ব্যবহার করতে মডেলিং ভাষায় আপনার সীমাবদ্ধতাগুলি সেট আপ করতে পারেন। তবে, সিভিএক্স, জিএএমএস, এবং এএমপিএল-এ সলভার ব্যাকএন্ড দ্বারা ব্যবহৃত পদ্ধতিগুলি ম্যাট্রিক্স-মুক্ত সমাধানকারী ব্যবহার করে না; সকলকে স্ট্যান্ডার্ড আকারে রৈখিক প্রোগ্রামের জন্য পূর্ণ সহগ ম্যাট্রিক্সের প্রয়োজন হবে, যা বিশাল হবে (এটি ম্যাট্রিকের ক্রোনেকার পণ্য হবে)। সম্ভবত যা ঘটবে তা হ'ল আপনি মডেলিং ভাষা ব্যবহার করে উপরের ফর্মটিতে আপনার রৈখিক প্রোগ্রামটি ইনপুট করুন এবং তারপরে মডেলিং ভাষাটি ব্যাকএন্ড সলভারগুলির দ্বারা ব্যবহারযোগ্য ফর্মে ডেটাটি অনুবাদ করবে। এই ফর্মটির জন্য বিশাল ম্যাট্রিকের প্রয়োজন হবে এবং আমার সন্দেহ হয় যে আপনি একই ধরণের ত্রুটিগুলি চালাবেন (যদি না আপনি পর্যাপ্ত স্মৃতিশক্তিযুক্ত কোনও মেশিনে চালনা না করেন)।

— জিওফ অক্সবেরি
সূত্র

দেখে মনে হচ্ছে আমি সমস্ত সঠিক জিনিস চেষ্টা করেছি! আমি প্রথমে সিভিএক্স নিয়ে পরীক্ষা-নিরীক্ষা করেছি এবং এটি ব্যর্থ হয়েছে, তাই আমি আইপোপটিতে স্যুইচ করেছি। তবে আইপিওপিটি একই সমস্যা ছিল। আমি জানতাম না যে এটিতে একটি ম্যাট্রিক্স-মুক্ত বিকল্প রয়েছে, তাই আমি এটি বের করতে পারি কিনা তা আমি দেখতে পাচ্ছি।

— জাস্টিন সলোমন

আমি নিশ্চিত না যে জিএএমএস / এএমপিএল আমার সমস্যাটিকে সহায়তা করবে কিনা। আমি যে কোনও রূপে সমস্যার সমাধান করতে পেরে খুশি, দ্রবীভূতকারীকে সঠিক জিনিসটি করতে সহায়তা করবে তবে আপনি যেমন কোনও ক্রোনেকার পণ্য গ্রহণের নেপথ্যে বলেছেন তেমন কাজ করছে না।

— জাস্টিন সলোমন