এলএলই (স্থানীয় রৈখিক এম্বেডিং) অ্যালগরিদমের পদক্ষেপগুলি ব্যাখ্যা করুন?

আমি বুঝতে পারি এলএলইর জন্য অ্যালগরিদমের পিছনে মূল নীতিটি তিনটি পদক্ষেপ নিয়ে গঠিত।

কিছু মেট্রিক যেমন কে-এনএন দ্বারা প্রতিটি ডেটা পয়েন্টের আশপাশ সন্ধান করা।
প্রতিবেশীর জন্য ওজন সন্ধান করুন যা প্রতিবেশীর ডেটা পয়েন্টে কী প্রভাব ফেলে তা বোঝায়।
গণিত ওজনের উপর ভিত্তি করে ডেটাটির নিম্ন মাত্রিক এম্বেডিং তৈরি করুন।

তবে 2 এবং 3 পদক্ষেপের গাণিতিক ব্যাখ্যাগুলি আমার পাঠ্য সমস্ত পাঠ্য বই এবং অনলাইন সংস্থানগুলিতে বিভ্রান্ত করছে। সূত্রগুলি কেন ব্যবহৃত হচ্ছে তা আমি যুক্তিযুক্ত করতে পারছি না।

এই পদক্ষেপগুলি বাস্তবে কীভাবে সম্পাদিত হয়? গাণিতিক সূত্রগুলি ব্যাখ্যার কোন স্বজ্ঞাত উপায় আছে?

তথ্যসূত্র: http://www.cs.nyu.edu/~roweis/lle/publications.html

— User1234321232
সূত্র

স্থানীয় লিনিয়ার এম্বেডিং (এলএলই) দূরবর্তী বস্তুর মধ্যে দূরত্ব অনুমান করার প্রয়োজনীয়তা দূর করে এবং স্থানীয় লিনিয়ার ফিটগুলির দ্বারা বৈশ্বিক অ-রৈখিক কাঠামো পুনরুদ্ধার করে। এলএলই সুবিধাজনক কারণ এটি শেখার হার বা রূপান্তর মানদণ্ডের মতো কোনও পরামিতি জড়িত না। LLE এছাড়াও স্বকীয় মাত্রা সঙ্গে ভাল আইশ । এলএলই এর উদ্দেশ্যগত কার্য হ'ল এবং বস্তুর জন্য ওজন ম্যাট্রিক্স উপাদানগুলি যদি শূন্যতে সেট করা থাকে তবে $\mathbf{Y}$

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$

W

$\mathbf{W}$

w_{i j}

$w_{ij}$

i

$i$

j

$j$

j

$j$ খুব কাছের প্রতিবেশী নই , অন্যথায়, কমপক্ষে স্কোয়ারের মাধ্যমে কে-নিকটস্থ বস্তুর কাছের ওজন নির্ধারণ যেখানে নির্ভরশীল ভেরিয়েবল a একটি ভেক্টর, object হ'ল এর নিকটবর্তী সমস্ত প্রতিবেশী এবং গ্রাম ম্যাট্রিক্স , এবং a একটি ওজনের ভেক্টর যা সম-থেকে-unityক্যের সীমাবদ্ধতাগুলি অনুসরণ করে। যাক a এক প্রতিসম ধনাত্মক ইতিবাচক semidefinite গুণুক

i

$i$

i

$i$

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$

G

$\mathbf{G}$

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$ ডাইমেনশনাল অবজেক্ট এর কে-নিকটতম প্রতিবেশীদের সমস্ত জোড়ার জন্য দূরত্বের ম্যাট্রিক্স । এটি দেখানো যেতে পারে যে elements উপাদানগুলির দ্বিগুণ-কেন্দ্রিক দূরত্বের ম্যাট্রিক্স to এর সমান রিগ্রেশন কোফিসিয়েন্টস নির্ধারিত সংখ্যাসূচকভাবে ব্যবহার করছেন

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$ এবং তারা unityক্যের যোগফল নিশ্চিত করার জন্য চেক করা হয়। এর মান সারি মধ্যে এমবেড করা হয় এর বস্তুর কে-নিকটতম প্রতিবেশীদের সংশ্লিষ্ট বিভিন্ন কলাম অবস্থানের সময়ে , সেইসাথে TRANSPOSE উপাদান। এটি ডেটাসেটের প্রতিটি ম অবজেক্টের জন্য পুনরাবৃত্তি হয় । এটি সতর্কতার সাথে সতর্ক করে দিয়েছে যে নিকটতম প্রতিবেশী এর সংখ্যা খুব কম হলে sp sp বিরল হতে পারে যার ফলে ইজিজেনালাইসিস কঠিন হয়ে পড়ে। দেখা গেছে যে নিকটতম প্রতিবেশীদের ফলাফল in

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$ ম্যাট্রিক্স যা ইগিজেনালাইসিসের সময় প্যাথলজগুলি ধারণ করে না। Function ক্ষুদ্রতম অ-শূন্য ইগ্যালুয়ালগুলি খুঁজে বের করে উদ্দেশ্য কার্যটি হ্রাস করা হয় কমে ফর্ম দ্বারা প্রতিনিধিত্ব করা হয় যেখানে মাত্রা রয়েছে দুই সর্বনিম্ন eigenvalues উপর ভিত্তি করে ।

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— এনএক্সজি লজিক
সূত্র

"কে = 9 নিকটতম প্রতিবেশী" এটি কি এর মাত্রিকতার উপর নির্ভর করে না ? উদাহরণস্বরূপ, যদি এর 9 টিরও কম মাত্রা থাকে তবে ওজন ম্যাট্রিক্স স্বতন্ত্রভাবে নির্ধারিত হয় না। এটি কি এলএলইতে সমস্যা সৃষ্টি করে?

Y

$Y$

Y

$Y$

W

$W$

— স্কট

হ্যাঁ, তবে যদি 8 টি মাত্রা থাকে তবে এলোমেলো উপাত্তের জন্য আক্ষরিক অর্থে প্রতিটি বিন্দু 9 টির একটি রৈখিক সংমিশ্রণ হিসাবে নিখুঁতভাবে লেখা যেতে পারে, অসীম সংখ্যক উপায়ে।

— স্কট

কোনও প্রযুক্তি বাস্তবায়নের সময় সবসময় "কী হয়" পরিস্থিতিতে থাকে এবং সে কারণেই প্যারামিটারের সীমাবদ্ধতাগুলি ব্যবহৃত হয়।

— এনএক্সজি লজিক 16