ম্যাট্রিক্স এন্ট্রপিতে সীমাবদ্ধ অপ্টিমাইজেশন সমস্যা

আমার (শ্যানন) ম্যাট্রিক্স এনট্রপি একটি সীমাবদ্ধ অপ্টিমাইজেশন সমস্যা রয়েছে $\mathtt{(sum(entr(eig(A))))}$ । ম্যাট্রিক্স $A$ ফর্মের 1 ম্যাট্রিকের যোগফল হিসাবে রচনা করা যেতে পারে $[v_i\,v_i^T]$ যেখানে $v_i$ একটি প্রদত্ত স্বাভাবিক ভেক্টর। এক ম্যাট্রিকের র‌্যাঙ্কের সহগগুলি হ'ল অজানা যা আমরা অপ্টিমাইজ করি এবং সেগুলি শূন্যের চেয়ে বড় হতে হবে এবং 1 পর্যন্ত যোগ করতে হবে।

সিভিএক্স-এর মতো সিনট্যাক্সে সমস্যাটি নীচে চলেছে: প্রদত্ত ভেরিয়েবল $\mathtt{c(n)}$

কমান গুলি তোমার দর্শন লগ করা মি (ই এন টি R (ই আমি ছ (একজন)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} বিষযে একজন & = Σ গ_{আমি} {বনাম}_{আমি} {বনাম}_{আমি}^{টি} \\ Σ গ_{আমি} & = 1 \\ গ_{আমি} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$ ।

কীভাবে এটিকে দক্ষতার সাথে সমাধান করা যায় তার কোনও ধারণা আছে? আমি ইতিমধ্যে জানি এটি সম্ভবত একটি আধা-নির্দিষ্ট প্রোগ্রামিং (এসডিপি) সমস্যা হিসাবে কাস্ট করা যাবে না।

optimization entropy

— Dries
সূত্র

সম্পাদনা: একজন সহকর্মী আমাকে জানিয়েছিলেন যে নীচে আমার পদ্ধতিটি নীচের কাগজে সাধারণ পদ্ধতির উদাহরণ, যখন এন্ট্রপি ফাংশনে বিশেষীকরণ করা হয়,

ওভারটন, মাইকেল এল।, এবং রবার্ট এস ওয়মের্সলে। "প্রতিসম ম্যাট্রিকের ইগেনভ্যালুগুলি অনুকূলকরণের জন্য দ্বিতীয় ডেরাইভেটিভস" " ম্যাট্রিক্স বিশ্লেষণ এবং অ্যাপ্লিকেশনগুলির উপর সিয়াম জার্নাল 16.3 (1995): 697-718। http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

সংক্ষিপ্ত বিবরণ

এই পোস্টে আমি দেখাচ্ছি যে অপ্টিমাইজেশনের সমস্যাটি ভালভাবে উত্থাপিত হয়েছে এবং অসমতার সীমাবদ্ধতাগুলি সমাধানে নিষ্ক্রিয় রয়েছে, তারপরে এনট্রপি ফাংশনের প্রথম এবং দ্বিতীয় ফ্রেঞ্চ ডেরাইভেটিভস গণনা করুন, তারপরে সাম্যতার সীমাবদ্ধতা দূর করে সমস্যার বিষয়ে নিউটনের পদ্ধতিটি প্রস্তাব করুন। পরিশেষে, মতলব কোড এবং সংখ্যাসূচক ফলাফল উপস্থাপন করা হবে।

অপ্টিমাইজেশান সমস্যার ভাল পোজনেস

প্রথমত, ইতিবাচক নির্দিষ্ট ম্যাট্রিক্স এর সমষ্টি ইতিবাচক নির্দিষ্ট তাই জন্য , এর সমষ্টি র্যাঙ্ক -1 ম্যাট্রিক্স ইতিবাচক নির্দিষ্ট হয়। যদি সেট পূর্ণ র্যাঙ্ক হয়, তাহলে এর eigenvalues ইতিবাচক, তাই eigenvalues এর লগারিদমের গ্রহণ করা যেতে পারে। সুতরাং উদ্দেশ্যমূলক ফাংশনটি সম্ভাব্য সেটটির অভ্যন্তরে ভালভাবে সংজ্ঞায়িত করা হয়। $c_i > 0$

একজন (গ) : = Σ_{আমি = 1}^{এন} গ_{আমি} {বনাম}_{আমি} {বনাম}_{আমি}^{টি}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

দ্বিতীয়ত, কোনো হিসাবে , র্যাঙ্ক হারায় তাই ক্ষুদ্রতম eigenvalue শূন্য চলে যায়। অর্থাত, হিসাবে । যেহেতু এর ডেরাইভেটিভ হিসাবে উঠেছে , ফলস্বরূপ সেটটির সীমানার কাছে পৌঁছানোর ক্ষেত্রে একের পর এক আরও ভাল এবং আরও ভাল পয়েন্টের অনুক্রম থাকতে পারে না। সুতরাং সমস্যাটি ভালভাবে সংজ্ঞায়িত করা হয়েছে এবং আরও বৈষম্য সীমাবদ্ধতা $c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ নিষ্ক্রিয়। $c_i \ge 0$

এন্ট্রপি ফাংশনের ফ্র্যাচেট ডেরাইভেটিভস

সম্ভাব্য অঞ্চলের অভ্যন্তরে এন্ট্রপি ফাংশনটি সর্বত্র ফ্র্যাচেটে পার্থক্যযোগ্য এবং যেখানে এ্যাগেনভ্যালুগুলি পুনরাবৃত্তি হয় না সেখানে দুবার ফ্রেচিট পার্থক্যযোগ্য। নিউটনের পদ্ধতিটি করতে, আমাদের ম্যাট্রিক্স এনট্রপিয়ের ডেরিভেটিভগুলি গণনা করতে হবে, যা ম্যাট্রিক্সের ইগেনভ্যালুগুলির উপর নির্ভর করে। এর জন্য ম্যাট্রিক্সের পরিবর্তনের ক্ষেত্রে ম্যাট্রিক্সের ইগেনুয়ালু পচনটির সংবেদনশীলতা প্রয়োজন।

পুনরাহ্বান যে একটি ম্যাট্রিক্স জন্য eigenvalue পচানি সঙ্গে , মূল ম্যাট্রিক্স পরিবর্তন থেকে সম্মান সঙ্গে eigenvalue ম্যাট্রিক্স ব্যুৎপন্ন হয়, এবং ব্যুৎপন্ন eigenvector ম্যাট্রিক্স, হয় যেখানে হয় Hadamard পণ্য , সহগ ম্যাট্রিক্স সঙ্গে $A$ $A = U \Lambda U^T$

ঘ Λ = আমি \circ ({ইউ}^{টি} ঘ একজন ইউ),

$d\Lambda = I \circ (U^T dA U),$

ঘ ইউ = ইউ সি (ঘ একজন),

$dU = UC(dA),$

\circ

$\circ$

সি = {\begin{cases} \frac{{তোমার দর্শন লগ করা}_{আমি}^{টি} ঘ একজন {তোমার দর্শন লগ করা}_{ঞ}}{λ_{ঞ} - λ_{আমি}}, & আমি = ঞ \\ 0, & আমি = ঞ \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

$AU=\Lambda U$ $d\Lambda$

\begin{aligned} ঘ^{2} Λ & = ঘ (আমি \circ ({ইউ}^{টি} ঘ {একজন}_{1} ইউ)) \\ = আমি \circ (ঘ {ইউ}_{2}^{টি} ঘ {একজন}_{1} ইউ + + {ইউ}^{টি} ঘ {একজন}_{1} ঘ {ইউ}_{2}) \\ = 2 আমি \circ (ঘ {ইউ}_{2}^{টি} ঘ {একজন}_{1} ইউ) । \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

সাম্যের সীমাবদ্ধতা দূর করা

$\sum_{i=1}^N c_i = 1$ $N-1$

গ_{এন} = 1 - Σ_{আমি = 1}^{এন - 1} গ_{আমি} ।

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

ঘ চ = ঘ {সি}_{1}^{টি} {এম}^{টি} [আমি \circ ({ভী}^{টি} ইউ বি {ইউ}^{টি} ভী)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

ঘ ঘ চ = ঘ {সি}_{1}^{টি} {এম}^{টি} [আমি \circ ({ভী}^{টি} [2 ঘ {ইউ}_{2} {বি}_{একটি} {ইউ}^{টি} + + ইউ {বি}_{খ} {ইউ}^{টি}] ভী)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

এম = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & ... & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

{বি}_{একটি} = ঘ আমি একটি ছ (1 + + লগ λ_{1}, 1 + + লগ λ_{2}, ..., 1 + + লগ λ_{এন}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

{বি}_{খ} = ঘ আমি একটি ছ (\frac{ঘ_{2} λ_{1}}{λ_{1}}, ..., \frac{ঘ_{2} λ_{এন}}{λ_{এন}}) ।

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

সীমাবদ্ধতা দূর করার পরে নিউটনের পদ্ধতি

যেহেতু অসমতার সীমাবদ্ধতাগুলি নিষ্ক্রিয়, আমরা অভ্যন্তরীণ ম্যাক্সিমায় চতুর্ভুজীয় রূপান্তরকরণের জন্য আমরা কেবল সম্ভাব্য সেটটিতে শুরু করি এবং আস্থা-অঞ্চল বা লাইন-সন্ধান অবলম্বন নিউটন-সিজি চালাই।

পদ্ধতিটি নিম্নরূপ, (বিশ্বাসের অঞ্চল / লাইন অনুসন্ধানের বিশদ সহ নয়)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ ${এম}^{টি} [আমি \circ ({ভী}^{টি} [2 ঘ {ইউ}_{2} {বি}_{একটি} {ইউ}^{টি} + + ইউ {বি}_{খ} {ইউ}^{টি}] ভী)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
গোটো 2।

ফলাফল

$v_i$ $N=100$ $v_i$

>> এন = 100;
>> ভি = রেনড (এন, এন);
>> কে = 1 এর জন্য: এনভি (:, কে) = ভি (:, কে) / আদর্শ (ভি (:, কে)); শেষ
>> ম্যাক্সেন্ট্রোপেটিমাত্রিক্স (ভি);
নিউটন পুনরাবৃত্তি = 1, আদর্শ (গ্রেড চ) = 0.67748
নিউটন পুনরাবৃত্তি = 2, আদর্শ (গ্রেড চ) = 0.03644
নিউটন পুনরাবৃত্তি = 3, আদর্শ (গ্রেড চ) = 0.0012167
নিউটন পুনরাবৃত্তি = 4, আদর্শ (গ্রেড চ) = 1.3239 ই -06
নিউটন পুনরাবৃত্তি = 5, আদর্শ (গ্রেড চ) = 7.7114 ই -13

গণনা করা সর্বোত্তম পয়েন্টটি প্রকৃতপক্ষে সর্বাধিক কিনা তা দেখতে, অনুকূল বিন্দুটি এলোমেলোভাবে আঁকিয়ে উঠলে এনট্রপি কীভাবে পরিবর্তিত হয় তার একটি গ্রাফ এখানে রয়েছে। সমস্ত কলুষিতকরণ এনট্রপি হ্রাস করে। এখানে চিত্র বর্ণনা লিখুন

মতলব কোড

এন্ট্রপি হ্রাস করার জন্য সমস্ত 1 টি ফাংশন (নতুন এই পোস্টে যুক্ত): https://github.com/NickAlger/various_scriptts/blob/master/maxEntropyMatrix.m

— নিক অ্যালজার
সূত্র

আপনাকে অনেক ধন্যবাদ! আমি এটিকে সহজভাবে গ্রেডিয়েন্ট এসেন্ট দিয়ে সমাধান করেছি তবে এটি সম্ভবত আরও নির্ভরযোগ্য। ম্যাটল্যাব ফাইলে ভি'র পুরো পদে থাকতে হবে এই বিষয়টিই আমাকে বিরক্ত করে।

— শুকনো

@ নিকআলগার প্রদত্ত লিঙ্কটি কাজ করছে না, আমি কি আপনাকে একবার দেখার অনুরোধ করতে পারি?

— নির্মাতা

পোস্টে ক্রেটার আপডেট লিংক! github.com/NickAlger/various_scriptts/blob/master/…

— নিক

@ নিকআলগার ম্যাট্রিক্সে কি বাধা আছে যা অ্যালগরিদম পরিচালনা করতে পারে? জটিল উপাদানগুলির সাথে ম্যাট্রিক্সের জন্য এই অ্যালগরিদম কি ঠিক আছে? আমার ক্ষেত্রে এসভিডি কিছু সময়ের পরে ব্যর্থ হয় কারণ ম্যাট্রিক্সটিতে নান রয়েছে।

— স্রষ্টা

জটিল সংখ্যার সমস্যা হওয়া উচিত বলে আমি মনে করি না। পদ্ধতির একটি সীমাবদ্ধতা হ'ল সর্বোত্তম সমাধানটির পুনরাবৃত্ত ইগন্যালুগুলি থাকতে পারে না, যা আমি অনুমান করছি যে এখানে কী ঘটছে। সেক্ষেত্রে পদ্ধতিটি এমন কিছুতে রূপান্তর করে যা সি সমীকরণে শূন্য দ্বারা বিভক্ত হয়। আপনি এলোমেলোভাবে ইনপুটগুলিকে কিছুটা আড়াল করার চেষ্টা করতে পারেন এবং দেখুন যে এটি জিনিসগুলিতে সহায়তা করে কিনা। উপরে উল্লিখিত ওভারটন পেপারে এটিকে ঘিরে কাজ করার একটি উপায় রয়েছে তবে আমার কোডটি তেমন উন্নত নয়।

— নিক