"ডিপ নোথারের উপপাদ্য": প্রতিসম সীমাবদ্ধতায় বিল্ডিং

যদি আমার একটি শেখার সমস্যা থাকে যা অন্তর্নিহিত প্রতিসাম্য হওয়া উচিত, তাহলে কি আমার শেখার সমস্যাটি শিখনকে বাড়ানোর জন্য প্রতিসম সীমাবদ্ধতার বিষয়বস্তু করার উপায় আছে?

উদাহরণস্বরূপ, আমি যদি চিত্রের স্বীকৃতিটি করছি, আমি 2 ডি রোটেশনাল প্রতিসম চাই। অর্থ যে কোনও চিত্রের আবর্তিত সংস্করণটি মূল হিসাবে একই ফলাফল পাওয়া উচিত।

বা যদি আমি টিকি-ট্যাক-টো খেলতে শিখছি, তবে 90 ডিগ্রি দ্বারা আবর্তিত একই গেমের খেলাগুলি পাওয়া উচিত।

এ নিয়ে কোন গবেষণা হয়েছে?

machine-learning

— aidan.plenert.macdonald
সূত্র

হ্যাঁ কিছু; উদাহরণস্বরূপ, গ্রুপ ইক্যুইভারিয়েন্ট কনভলিউশনাল নেটওয়ার্কস ( কোড ), সুরেলা নেটওয়ার্ক: গভীর অনুবাদ এবং রোটেশন ইক্যুভিরিয়েন্স , ডিপ রোটেশন ইক্যুভারিয়েন্ট নেটওয়ার্ক , কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলিতে সাইক্লিক প্রতিসাম্য অনুসন্ধান ইত্যাদি আপনি বন্যে এখনও এটি দেখতে পাচ্ছেন না।

— এমরে

@ ইমর ধন্যবাদ! আপনি কি সিএনএন এর বাইরে কোনও কাজ জানেন?

— aidan.plenert.macdonald

না, আমি কেবল এই কুলুঙ্গির উপর পর্যাপ্ত জ্ঞান আছে। তবুও, সিএনএনগুলি প্রাকৃতিক সেটিংয়ের মতো মনে হচ্ছে ...

— এমরে

আমারও রিসি কনডোর পিএইচডি গবেষণামূলক প্রবন্ধ, মেশিন লার্নিংয়ের গ্রুপ তাত্ত্বিক পদ্ধতিগুলি (পিডিএফ)

— এমের

এমিরের উপরের মন্তব্য থেকে, রিসি কনডোর দ্বারা মেশিন লার্নিংয়ের গ্রুপ তাত্ত্বিক পদ্ধতিগুলির বিভাগের ৪.৪ বিভাগে অন্তর্নিহিত প্রতিসাম্য রয়েছে এমন কার্নেল পদ্ধতি তৈরির বিষয়ে বিশদ তথ্য এবং প্রমাণ রয়েছে। আমি এটি একটি আশাবাদী স্বজ্ঞাত উপায়ে সংক্ষিপ্ত করব (আমি একজন গণিতবিদ নন একজন পদার্থবিজ্ঞানী!)।

বেশিরভাগ এমএল অ্যালগরিদমে একটি ম্যাট্রিক্স গুণ থাকে যেমন,

\begin{aligned} {গুলি}_{আমি} & = \underset{ঞ}{Σ} {ওয়াট}_{আমি ঞ} {এক্স}_{ঞ} \\ = \underset{ঞ}{Σ} {ওয়াট}_{আমি ঞ} ({\vec{ই}}_{ঞ} \cdot \vec{এক্স}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$ সঙ্গে

\vec{x}

$\vec{x}$ ইনপুট হচ্ছে এবং

W_{i j}

$W_{ij}$ আমরা প্রশিক্ষণ করতে চান ওজন হচ্ছে।

কার্নেল পদ্ধতি

কার্নেল পদ্ধতির ক্ষেত্র সন্নিবেশ করান এবং এর মাধ্যমে অ্যালগরিদম হ্যান্ডেল ইনপুটটি যাক,

\begin{aligned} {গুলি}_{আমি} & = \underset{ঞ}{Σ} {ওয়াট}_{আমি ঞ} ট (ই_{ঞ}, এক্স) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$ যেখানে এখন আমরা সাধারণীকরণ করছি

x, e_{j} \in X

$x, e_j \in \mathcal{X}$ ।

একটি দল বিবেচনা করুন $G$ যে কাজ করে $\mathcal{X}$ মাধ্যমে $x \rightarrow T_g(x)$ জন্য $g \in G$ । এই গোষ্ঠীর অধীনে আমাদের অ্যালগরিদম আক্রমণকারী করার একটি সহজ উপায় হ'ল কার্নেল তৈরি করা,

\begin{aligned} ট^{জি} (এক্স, Y) & = \frac{1}{| জি |} \underset{ছ \in জি}{Σ} ট (এক্স, {টি}_{ছ} (Y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$ সঙ্গে

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$ ।

সুতরাং,

\begin{aligned} ট^{জি} (এক্স, {টি}_{জ} (Y)) & = \frac{1}{| জি |} \underset{ছ \in জি}{Σ} ট (এক্স, {টি}_{ছ জ} (Y)) \\ = \frac{1}{| জি |} \underset{ছ \in জি}{Σ} ট (এক্স, {টি}_{ছ} (Y)) \\ = \frac{1}{| জি |} \underset{ছ \in জি}{Σ} ট ({টি}_{ছ} (এক্স), Y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

জন্য $k(x, y) = x \cdot y$ যা সমস্ত একক প্রতিনিধিত্বের জন্য কাজ করে,

\begin{aligned} ট^{জি} (এক্স, {টি}_{জ} (Y)) & = [\frac{1}{| জি |} \underset{ছ \in জি}{Σ} {টি}_{ছ} (এক্স)] \cdot Y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

যা একটি রূপান্তর ম্যাট্রিক্স অফার করে যা ইনপুটকে অ্যালগরিদমের সাথে প্রতিসরণ করতে পারে।

SO (2) উদাহরণ

প্রকৃতপক্ষে কেবল সেই গোষ্ঠী যা মানচিত্র করে $\frac{\pi}{2}$ সরলতার জন্য আবর্তন।

আসুন আমরা ডেটাতে লিনিয়ার রিগ্রেশন চালাই $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$ যেখানে আমরা একটি ঘূর্ণমান প্রতিসাম্য আশা করি।

আমাদের অপ্টিমাইজেশান সমস্যা হয়ে ওঠে,

\begin{aligned} \underset{{ওয়াট}_{ঞ}}{সর্বনিম্ন} & \underset{আমি}{Σ} \frac{1}{2} (Y_{আমি} - {\tilde{Y}}_{আমি})^{2} \\ {\tilde{Y}}_{আমি} & = \underset{ঞ}{Σ} {ওয়াট}_{ঞ} ট_{জি} (ই_{ঞ}, {এক্স}_{আমি}) + + খ_{আমি} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

কর্নেল $k(x, y) = \| x - y \|^2$ সন্তুষ্টি । আপনি এবং বিভিন্ন ধরণের ব্যবহার করতে পারেন । $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

সুতরাং,

\begin{aligned} ট_{জি} (ই_{ঞ}, {এক্স}_{আমি}) & = \frac{1}{4} Σ_{এন = 1}^{4} ‖ আর (এন π / 2) {\vec{ই}}_{ঞ} - {\vec{এক্স}}_{আমি} ‖^{2} \\ = \frac{1}{4} Σ_{এন = 1}^{4} (কোসাইন্ (এন π / 2) - {\vec{এক্স}}_{আমি 1})^{2} + + (পাপ (এন π / 2) - {\vec{এক্স}}_{আমি 2})^{2} \\ = \frac{1}{4} [2 {\vec{এক্স}}_{আমি 1}^{2} + + 2 {\vec{এক্স}}_{আমি 2}^{2} + + (1 - {\vec{এক্স}}_{আমি 1})^{2} + + (1 - {\vec{এক্স}}_{আমি 2})^{2} + + (1 + + {\vec{এক্স}}_{আমি 1})^{2} + + (1 + + {\vec{এক্স}}_{আমি 2})^{2}] \\ = {\vec{এক্স}}_{আমি 1}^{2} + + {\vec{এক্স}}_{আমি 2}^{2} + + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

নোট করুন যে আমাদের চেয়ে বেশি পরিমাণের দরকার নেই কারণ এটি উভয়ের জন্য একই। সুতরাং আমাদের সমস্যা হয়ে ওঠে, $j$

\begin{aligned} \underset{ওয়াট}{সর্বনিম্ন} & \underset{আমি}{Σ} \frac{1}{2} (Y_{আমি} - {\tilde{Y}}_{আমি})^{2} \\ {\tilde{Y}}_{আমি} & = ওয়াট [{\vec{এক্স}}_{আমি 1}^{2} + + {\vec{এক্স}}_{আমি 2}^{2} + + 1] + + খ_{আমি} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

যা প্রত্যাশিত গোলাকার প্রতিসাম্য লাভ করে!

শিরাসমূহের কম্পন-কম্পন Tac অঙ্গুলী

উদাহরণ কোড এখানে দেখা যাবে । এটি দেখায় যে কীভাবে আমরা ম্যাট্রিক্স তৈরি করতে পারি যা প্রতিসাম্যকে এনকোড করে এটি ব্যবহার করতে পারে। মনে রাখবেন যে আমি আসলে এটি চালানোর সময় এটি সত্যিই খারাপ! এই মুহুর্তে অন্যান্য কার্নেলের সাথে কাজ করা।

— aidan.plenert.macdonald
সূত্র

ভালো কাজ, আইদন! আপনার যদি সময় থাকে তবে আপনি আরও বিস্তারিত ব্লগ পোস্ট লিখতে পারেন। সম্প্রদায়টি সবচেয়ে বেশি আগ্রহী হবে।

— এমরে

আপনি কোন সম্প্রদায়ের কথা উল্লেখ করছেন তা নিশ্চিত নয়, তবে আমি আরও লিখতে শুরু করেছি। আমি একটি ডেটা সেট দিয়ে অনুকূল কার্নেলটি অনুমান করার একটি উপায় খুঁজে পেতে চেয়েছিলাম। সুতরাং আমি অন্তর্নিহিতভাবে সমন্বিতভাবে সীমাবদ্ধ এবং সর্বাধিক এনট্রপিক (অর্থাত্ তথ্যপূর্ণ) বৈশিষ্ট্যগুলির একটি নতুন সেট পাওয়ার জন্য কার্নেল স্পেসে এনট্রপিকে অনুকূলিত করেছিলাম। এখন তা সঠিক পন্থা কিনা। আমি বলতে পারি না। কেবল একটি সতর্কতা, গণিত এখনই কিছুটা হ্যাক জব এবং স্ট্যাট মেছ থেকে সরাসরি ধরণের। overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

প্রতিসামগ্রী গোষ্ঠীটি জানা না গেলে কি কোনও অর্থবহ দৃষ্টিভঙ্গি রয়েছে?

— লাইটাসাত

@ লিটাসাত আপনি গ্রুপটি না জানলে এটি কীভাবে প্রতিসম হয়?

— aidan.plenert.macdonal

তথ্য থেকে @ امداد.প্লেনার্ট.ম্যাকডোনাল্ড ধরা যাক আমাদের প্রতিটি ছবিতে 100 টি সেট রয়েছে এবং প্রতিটি সেটের মধ্যে বিভিন্ন দৃষ্টিকোণ থেকে একটি অবজেক্টের ছবি রয়েছে। কোনও অ্যালগরিদম এসও (3) প্রতিসাম্যের "ধারণাটি শিখতে" এবং এটি পূর্বেটি অদেখা বস্তুগুলিতে ব্যবহার করতে পারে?

— লাইটাসাত

দেখা যাচ্ছে এটি কেবল মেশিন লার্নিংয়ের ক্ষেত্রে প্রয়োগ করা ইনভেরিয়েন্ট থিওরির অধ্যয়ন

— aidan.plenert.macdonald
সূত্র