এলএসএ এবং পিএলএসএর মধ্যে একটি প্যারেলেল

পিএলএসএর মূল কাগজে লেখক টমাস হফম্যান পিএলএসএ এবং এলএসএ ডেটা স্ট্রাকচারের মধ্যে একটি সমান্তরাল আঁকুন যা আমি আপনার সাথে আলোচনা করতে চাই।

পটভূমি:

অনুপ্রেরণা গ্রহণ করে তথ্য পুনরুদ্ধার মনে করুন আমাদের কাছে নথি এবং পদগুলির একটি শব্দভাণ্ডার $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

একটি কর্পাস কো-কোকোরেসেন্সের একটি ম্যাট্রিক্স দ্বারা প্রতিনিধিত্ব করা যেতে পারে । $X$ $N \times M$

ইন প্রচ্ছন্ন শব্দার্থিক Analisys দ্বারা SVD ম্যাট্রিক্স তিনটি ম্যাট্রিক্স মধ্যে factorized হয় যেখানে এবং হয় একবচন মান এর এবং পদে হয় । $X$

X = U Σ V^{T}

$X = U \Sigma V^T$

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$

σ_{i}

$\sigma_i$

X

$X$

s

$s$

X

$X$

in of এর এলএসএ অনুমানের পরে চিত্রের মতো দেখানো হয়েছে যে তিনটি ম্যাট্রিককে কিছু স্তরের করতে হবে: $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$

k < s

$k < s$

এখানে চিত্র বর্ণনা লিখুন

পিএলএসএতে, বিষয়গুলির একটি স্থির সেট বেছে নিন (সুপ্ত ভেরিয়েবল) এর এর অনুমান হিসাবে গণনা করা হয়: যেখানে তিনটি ম্যাট্রিক মডেলের সম্ভাবনা সর্বাধিক করে তোলে। $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

আসল প্রশ্ন:

লেখক বলেছেন যে এই সম্পর্কগুলি টিকে আছে:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

এবং যে এলএসএ এবং পিএলএসএর মধ্যে গুরুত্বপূর্ণ পার্থক্যটি হ'ল অনুকূল পঁচন / আনুমানিকতা নির্ধারণের জন্য উদ্দেশ্যমূলক ফাংশন।

আমি নিশ্চিত নই যে তিনি ঠিক আছেন, যেহেতু আমি মনে করি যে দুটি ম্যাট্রিক different বিভিন্ন ধারণার নিন্দা করে: এলএসএতে এটি কোনও নথিতে একটি শব্দ প্রকাশিত সময়ের সংখ্যার প্রায় অনুমান এবং পিএলএসএতে হয় (আনুমানিক) ) সম্ভাব্যতা যে কোনও শব্দ নথিতে উপস্থিত হয়। $\hat{X}$

আপনি কি আমাকে এই বিষয়টি পরিষ্কার করতে সাহায্য করতে পারেন?

তদুপরি, ধরুন, আমরা একটি নতুন দলিল ডি- দিয়ে একটি কর্পাসে দুটি মডেল গণনা করেছি , এলএসএতে আমি এটির কাছাকাছি গণনা করতে ব্যবহার করি: $d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

এটি কি সর্বদা বৈধ?
আমি পিএলএসএতে একই পদ্ধতি প্রয়োগ করে কেন অর্থবহ ফলাফল পাচ্ছি না? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

ধন্যবাদ.

— Aslan986
সূত্র

সরলতার জন্য, আমি এখানে এলএসএ এবং অ-নেতিবাচক ম্যাট্রিক্স ফ্যাক্টেরাইজেশন (এনএমএফ) এর মধ্যে সংযোগ দিচ্ছি, এবং তারপরে দেখান কীভাবে ব্যয় কার্যের একটি সাধারণ পরিবর্তন পিএলএসএ বাড়ে। যেমন আগেই বলা হয়েছে, এলএসএ এবং পিএলএসএ হ'ল উভয় ক্ষেত্রেই ফ্যাক্টেরাইজেশন পদ্ধতি যা সারি এবং কলামগুলির স্বাভাবিকীকরণ পর্যন্ত, নথির পদ ম্যাট্রিক্সের নিম্ন-স্তরের ক্ষয়:

X = U Σ D

$X=U\Sigma D$

পূর্ববর্তী স্বরলিপি ব্যবহার করে। আরও সহজভাবে, ম্যাট্রিক্স নথির শব্দটি দুটি ম্যাট্রিকের পণ্য হিসাবে লেখা যেতে পারে:

X = A B^{T}

$X = AB^T$

যেখানে এবং । LSA জন্য, পূর্ববর্তী সূত্র সঙ্গে চিঠিপত্রের সেটিং দ্বারা প্রাপ্ত হয় এবং । $A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

এলএসএ এবং এনএমএফের মধ্যে পার্থক্য বোঝার একটি সহজ উপায় হ'ল তাদের জ্যামিতিক ব্যাখ্যা ব্যবহার করা:

এলএসএ এর সমাধান:
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- সমাধান হল: $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
এনএমএফ-কেএল পিএলএসএর সমতুল্য এবং এর সমাধান:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

যেখানে হয় Kullback-Leibler ম্যাট্রিক্স বারবার ফিরে এবং । এটি দেখতে যে উপরোক্ত সব সমস্যার একটি অনন্য সমাধান হবে না সহজ, যেহেতু এক করতে পারেন সংখ্যাবৃদ্ধি একটি ধনাত্মক সংখ্যা এবং ডিভাইড দ্বারা $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ একই উদ্দেশ্য মান পেতে একই সংখ্যা দ্বারা। অতএব, - এলএসএর ক্ষেত্রে, লোকেরা সাধারণত স্থানীয় মূল্য হ্রাস করে বাছাই করা অর্থোগোনাল ভিত্তি পছন্দ করে। এটি এসভিডি পচন দ্বারা প্রদত্ত এবং এলএসএ সমাধান সনাক্ত করে, তবে অন্য কোনও পছন্দ সম্ভব হবে কারণ এটি বেশিরভাগ অপারেশনে (কোসাইন মিল, উপরে বর্ণিত মসৃণ সূত্র ইত্যাদি) এর কোনও প্রভাব নেই। - এনএমএফের ক্ষেত্রে, অরথোগোনাল পচন সম্ভব নয়, তবে এ এর সারিগুলি সাধারণত হিসাবে সমষ্টি করতে বাধ্য হয়, কারণ এর হিসাবে সরাসরি সম্ভাবনাবাদী ব্যাখ্যা রয়েছে । যদি অতিরিক্ত হয়, এর সারিগুলি স্বাভাবিক করা হয় (অর্থাত একের যোগফল) তবে এর সারিগুলিকে একটি করে যোগ করতে হবে, সম্ভাব্য ব্যাখ্যার জন্য $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ । সেখানে কারণ কলাম pLSA সংস্করণ উপরে প্রশ্নে দেওয়া সামান্য পার্থক্য আছে এক সমষ্টি করতে বাধ্য করছি যাতে মান হয় কিন্তু পার্থক্য কেবল parametrization একটি পরিবর্তন , সমস্যা একই হিসাবে বাকি। $A$ $A$ $p(d_i|z_k)$

এখন, প্রাথমিক প্রশ্নের উত্তর দেওয়ার জন্য, এলএসএ এবং পিএলএসএ (এবং অন্যান্য এনএমএফ অ্যালগরিদম) এর মধ্যে পার্থক্যের মধ্যে কিছু সূক্ষ্মতা রয়েছে: অ-নেতিবাচকতা বাধা দেয় এ "ক্লাস্টারিং এফেক্ট" যা ক্লাসিকাল এলএসএ ক্ষেত্রে বৈধ নয় কারণ একক মান পচন দ্রবণটি আবর্তনীয়ভাবে অচল। নেতিবাচকতা বাধাগ্রস্থতা কোনওভাবে এই ঘূর্ণমান আক্রমণকে ভেঙে দেয় এবং কিছু ধরণের অর্থপূর্ণ অর্থ (পাঠ্য বিশ্লেষণের বিষয়গুলি) দিয়ে দেয়। এটি ব্যাখ্যা করার জন্য প্রথম কাগজটি হ'ল:

ডোনহো, ডেভিড এল।, এবং ভিক্টোরিয়া সি স্টডডেন। "অ-নেতিবাচক ম্যাট্রিক্স ফ্যাক্টেরাইজেশন অংশগুলিতে কখন একটি সঠিক পচন ঘটায়?" নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি 16: 2003 সম্মেলনের কার্যক্রম। এমআইটি প্রেস, 2004. [লিঙ্ক]

অন্যথায়, পিএলএসএ এবং এনএমএফের সম্পর্কের বর্ণনা এখানে দেওয়া হয়েছে:

ডিং, ক্রিস, টাও লি এবং ওয়ে পেং। "অ-নেতিবাচক ম্যাট্রিক্স ফ্যাক্টরীকরণ এবং সম্ভাব্য সুপ্ত সিমেটিক ইনডেক্সিংয়ের মধ্যে সমতা On" গণনা পরিসংখ্যান এবং ডেটা বিশ্লেষণ 52.8 (2008): 3913-3927। [লিংক]

— Guillaume,
সূত্র