ম্যাট্রিক্স ফাংশনের ডেরাইভেটিভের এই গণনাটি কী ন্যায়সঙ্গত করে?

অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সে তিনি এই সূত্রটি ব্যবহার করেছেন:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

এবং তিনি একটি দ্রুত প্রমাণ যা নীচে প্রদর্শিত হয়েছে:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

প্রমাণটি কোনও মন্তব্য ছাড়াই খুব ঘন বলে মনে হচ্ছে এবং এটি বুঝতে আমার সমস্যা হচ্ছে। দ্বিতীয় থেকে তৃতীয় সমতা ঠিক কী ঘটেছিল?

machine-learning matrix derivative

— MoneyBall
সূত্র

তিনি অবশ্যই

A

$A$ ,

B

$B$ এবং

এর মাত্রাগুলি সম্পর্কে বিশেষ অনুমান করছেন

C

$C$ , অন্যথায় এই সূত্রটি সাধারণভাবে কোনও ধারণা রাখে না। বাম দিকে

A

$A$ একটি হওয়া আবশ্যক

i \times j

$i\times j$ , ম্যাট্রিক্স

B

$B$ একটি

j \times j

$j\times j$ ম্যাট্রিক্স, এবং

C

$C$ একটি

i \times m

$i\times m$ নির্বিচারে অ নেতিবাচক পূর্ণসংখ্যার জন্য ম্যাট্রিক্স

i, j, m

$i,j,m$ । তবে ডানদিকে থাকা পণ্যগুলি

না থাকলে সংজ্ঞায়িত করা হবে না

i = m

$i=m$ ।

— হোয়বার

@ যাহা আমি দেখি অনুমানের দেওয়া, আমি এখনও বুঝতে পারছি না কিভাবে রূপান্তরটি যেখানে তিনি প্রবর্তন তৃতীয় লাইনে দ্বিতীয় থেকে ঘটেছে ।

\circ

$\circ$

— মানিবল

দ্বিতীয় এবং তৃতীয় লাইনের মধ্যে তিনি । দ্বিতীয় এবং তৃতীয় লাইনের মধ্যে তিনি পণ্যের বিধি ব্যবহার করেছেন। পরে তিনি থেকে মুক্তি পেতে চেইন রুল ব্যবহার করেন ।

f (A) = A B

$f(A)=AB$

f ()

$f()$

— ব্রায়ান বোর্চারস

স্বরলিপিটির একটি সূক্ষ্ম তবে ভারী অপব্যবহার যা অনেকগুলি পদক্ষেপকে বিভ্রান্ত করে। আসুন ম্যাট্রিক্সের গুণ, স্থানান্তর, ট্রেস এবং ডেরিভেটিভসের সংজ্ঞাগুলিতে ফিরে গিয়ে এই সমস্যাটির সমাধান করুন। ব্যাখ্যাগুলি বাদ দিতে ইচ্ছুক ব্যক্তিদের জন্য, কঠোর বিক্ষোভ কতটা সংক্ষিপ্ত এবং সহজ হতে পারে তা দেখতে কেবল "শেষাংশে এটি একসাথে রেখে" শেষ বিভাগে যান।

স্বরলিপি এবং ধারণা

মাত্রা

এক্সপ্রেশনটির জন্য যখন একটি ম্যাট্রিক্স হয় তখন একটি (বর্গ) ম্যাট্রিক্স এবং অবশ্যই একটি ম্যাট্রিক্স হতে হবে, যেখানে পণ্যটি ম্যাট্রিক্স। ট্রেসটি নিতে (যা তির্যক উপাদানগুলির যোগফল, ), তারপরে , বর্গ ম্যাট্রিক্স তৈরি করে। $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$

ডেরিভেটিভস

" " স্বরলিপিটি সাথে সম্মানের সাথে একটি অভিব্যক্তির ডেরিভেটিভকে বোঝায় । সাধারণত, পার্থক্য হল একটি ফাংশন তে সঞ্চালিত একটি অপারেশন । বিন্দুতে ডেরিভেটিভ হ'ল একটি লিনিয়ার ট্রান্সফর্মেশন । এই ভেক্টর স্পেসগুলির জন্য ঘাঁটিগুলি বেছে নেওয়ার পরে, এই জাতীয় রূপান্তরকে ম্যাট্রিক্স হিসাবে উপস্থাপন করা যেতে পারে । এই ঘটনা এখানে না! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

ভেক্টর হিসাবে ম্যাট্রিক

এর পরিবর্তে, একটি উপাদান হিসেবে বিবেচিত হচ্ছে : তার কোফিসিয়েন্টস unrolled হচ্ছে (সাধারণত হয় কলাম দ্বারা সারি বা কলাম দ্বারা সারি) দৈর্ঘ্যের একটি ভেক্টর মধ্যে । ফাংশন বাস্তব মূল্যবোধ, কোথা হয়েছে । ফলে, একটি হওয়া আবশ্যক এটি একটি রৈখিক ফর্ম প্রতিনিধিত্বমূলক একটি সারিতে ভেক্টর আছে: ম্যাট্রিক্স । যাইহোক, প্রশ্নের গণনাগুলি রৈখিক ফর্মগুলি উপস্থাপনের জন্য আলাদাভাবে ব্যবহার করে: তাদের সহগগুলি ম্যাট্রিক্সে ফিরে আসে up $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ $\mathbb{R}^{mn}$ $m\times n$

একটি লিনিয়ার ফর্ম হিসাবে ট্রেস

যাক একটি ধ্রুবক হতে ম্যাট্রিক্স। তারপরে, ট্রেস এবং ম্যাট্রিক্স গুণনের সংজ্ঞা দ্বারা, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

এই কোফিসিয়েন্টস অধিকাংশ সাধারণ সম্ভব রৈখিক সমন্বয় প্রকাশ : হিসাবে একই আকৃতি একটি ম্যাট্রিক্স হয় এবং সারিটির তার সহগ এবং কলাম সহগ হয় রৈখিক একযোগে। কারণ , এবং এর ভূমিকা পাল্টে যেতে পারে, সমান অভিব্যক্তি প্রদান করে $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

বা ফাংশনগুলির সাথে একটি ধ্রুবক ম্যাট্রিক্স সনাক্ত করে , আমরা লিনিয়ার উপস্থাপন করতে পারি ম্যাট্রিক্স হিসাবে ম্যাট্রিক্স হিসাবে ফর্ম । (এগুলি থেকে ! এর ফাংশনের ডেরিভেটিভগুলির সাথে বিভ্রান্ত করবেন না )) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

একটি ডেরিভেটিভ গণনা করা হচ্ছে

সংজ্ঞাটি

পরিসংখ্যানগুলিতে सामना করা অনেকগুলি ম্যাট্রিক্স ফাংশনগুলির ডেরাইভেটিভস সংজ্ঞা থেকে খুব সহজে এবং নির্ভরযোগ্যভাবে গণনা করা হয়: আপনাকে সত্যই ম্যাট্রিক্সের পার্থক্যের জটিল নিয়মগুলি অবলম্বন করার দরকার নেই। এই সংজ্ঞা বলছেন যে এ differentiable হয় যদি এবং কেবল যদি আছে একটি রৈখিক রূপান্তর যেমন যে $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

নির্বিচারে ছোট স্থানচ্যুত । সামান্য-ওহ স্বরলিপি মানে যে ত্রুটি পার্থক্য approximating তৈরি দ্বারা আকারের চেয়ে ইচ্ছামত ছোট যথেষ্ট জন্য । বিশেষত, আমরা সবসময় এর সমানুপাতিক ত্রুটিগুলি উপেক্ষা করতে পারি । $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

হিসাব

আসুন প্রশ্নে ফাংশনটিতে সংজ্ঞাটি প্রয়োগ করি। , গুন বিস্তৃত, এবং শব্দ উপেক্ষা দুই একটি পণ্যের সাথে 'এটা গুলি, $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

ডেরিভেটিভ , আমাদের অবশ্যই এটি ফর্ম । ডানদিকে প্রথম শব্দটি ইতিমধ্যে form সহ এই ফর্মটিতে রয়েছে । ডানদিকে থাকা অন্য জন্য ফর্ম রয়েছে । আসুন এটি লিখুন: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

পুনরায় রচনা করা , আবার লেখা যেতে পারে $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

এটা তোলে হয় এই অর্থে যে আমরা ব্যুৎপন্ন বিবেচনা করতে পারে এ হতে কারণ এই ম্যাট্রিক্স খেলা ট্রেস সূত্রগুলিতে ভূমিকা । $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

সবগুলোকে একত্রে রাখ

এখানে, তারপর, একটি সম্পূর্ণ সমাধান।

যাক একটি হতে ম্যাট্রিক্স, একটি ম্যাট্রিক্স, এবং একটি ম্যাট্রিক্স। আসুন । যাক একটি হতে ইচ্ছামত ছোট কোফিসিয়েন্টস সঙ্গে ম্যাট্রিক্স। কারণ (পরিচয় অনুসারে ) হয় পার্থক্যযোগ্য এবং এর ডেরাইভেটিভ হ'ল ম্যাট্রিক্স দ্বারা নির্ধারিত রৈখিক ফর্ম $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

যেহেতু এটি প্রায় অর্ধেক কাজ নেয় এবং কেবলমাত্র ম্যাট্রিক এবং ট্রেস (গুণ এবং স্থানান্তর) এর সর্বাধিক বুনিয়াদি হস্তক্ষেপ জড়িত তাই এটিকে একটি সহজ - এবং তর্কসাপেক্ষে আরও স্বচ্ছ - ফলাফল হিসাবে প্রদর্শন হিসাবে বিবেচনা করতে হবে। আপনি যদি সত্যিকারের মূল প্রদর্শনের স্বতন্ত্র পদক্ষেপগুলি বুঝতে চান তবে আপনি এখানে দেখানো গণনার সাথে তুলনা করা ফলদায়ক বলে মনে করতে পারেন।

— whuber
সূত্র

এটি জেনে রাখা সহায়ক যে সাধারণভাবে, যখনই ম্যাট্রিকগুলি সামঞ্জস্যপূর্ণ মাপের হয় । এই করা (3) একটি তুচ্ছ পদক্ষেপ জেনে।

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— ব্রায়ান বোর্চার্স

@ আমোবা আমি বলতে পারি না আপনি হাস্যকর হওয়ার চেষ্টা করছেন কিনা। আংশিক ডেরাইভেটিভগুলির সাথে প্রশ্ন বা উত্তরগুলির প্রত্যক্ষভাবে কোনও সম্পর্ক নেই। ফর্মটি স্পষ্টভাবে একটি লিনিয়ার ফর্ম যা ভেক্টর স্পেস এর রিয়েল ম্যাট্রিক্সে সংজ্ঞায়িত হয় । যখন কেউ দাবি করেন যে ফাংশনটির ডেরিভেটিভ একটি বিন্দু কিছু ম্যাট্রিক্স সমান হয় , তার অর্থ রৈখিক দ্বারা প্রদত্ত ফর্ম ।

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— হোবার

@ আমোবা ঠিক এটি সঠিক - এটি উত্তরের প্রথম লাইনে থাকা দৃ jus়তার সাথে প্রমাণ দেয়। এই কারণেই আমি " এই অর্থে" লিখেছিলাম এবং পরে সংক্ষেপে "সমান" না হয়ে "দ্বারা নির্ধারিত" বাক্যাংশটি ব্যবহার করেছি। আমি অস্বীকার করব না যে ব্যাখ্যাটি চ্যালেঞ্জিং ছিল; আমি কীভাবে এটি স্পষ্ট করতে হবে সে সম্পর্কে ভাবব এবং আমি আপনার সমস্ত মন্তব্য এবং পরামর্শগুলির প্রশংসা করব।

— whuber

@ ব্যবহারকারী 10324 আমি এই সাইটে যা পোস্ট করি তার বেশিরভাগই আমার নিজস্ব সূত্র - আমি খুব কমই উত্সগুলির সাথে পরামর্শ করি (এবং আমি যখন তা করি তখনই এটি নথি করি)। এই পোস্টগুলি অনেক বই এবং কাগজপত্র পড়া থেকে পাতন নিরোধক হয়। কয়েকটি সেরা বই সেগুলি সম্পূর্ণরূপে গাণিতিকভাবে কঠোর নয়, তবে যা অন্তর্নিহিত ধারণাগুলিকে সুন্দরভাবে ব্যাখ্যা ও চিত্রিত করেছে। পরিসংখ্যানের ক্রম অনুসারে প্রথম যেগুলি মনে আসে - তারা হলেন ফ্রিডম্যান, পিসানী, এবং পার্ভস, পরিসংখ্যান (যে কোনও সংস্করণ); জ্যাক কিফার, পরিসংখ্যানগত অনুক্রমের ভূমিকা ; এবং স্টিভেন শ্রেভ, স্টোকাস্টিক ক্যালকুলাস ২ য় অর্থের জন্য ।

— whuber

@ যাহা হউক অবশেষে ট্রেসটির রৈখিক রূপটি আমার কিছুটা উপলব্ধি আছে। আমি আপনার ব্যাখ্যাটি আরও মনোযোগ সহকারে পড়তে পারলে পৃথক পোস্টে আবার একই প্রশ্ন জিজ্ঞাসা করার জন্য আমি ক্ষমাপ্রার্থী। আমি আরও একটি প্রশ্ন আছে। যদি আপনার সমীকরণ প্রয়োগ করা যায় যে কোনও ম্যাট্রিক্স ফাংশনের ডেরিভেটিভগুলি খুঁজে পেতে, কি মতো মাত্রা আছে ? সুতরাং যদি , তবে ?

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$

— মানিবল