"র্যান্ডম প্রজেকশন" কঠোরভাবে কোনও প্রক্ষেপণ বলছে না?

10

র‌্যান্ডম প্রজেকশন অ্যালগরিদমের বর্তমান বাস্তবায়নগুলি একটি প্রজেকশন ম্যাট্রিক্স এর প্রবেশদ্বারগুলি উপযুক্ত ডিস্ট্রিবিউশন থেকে আইড করা (যেমন ) দ্বারা $\mathbb R^d$ থেকে $\mathbb R^k$ ম্যাপিং করে ডেটা নমুনাগুলির মাত্রিকতা হ্রাস করে : $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

সুবিধামতভাবে, তাত্ত্বিক প্রমাণগুলি উপস্থিত রয়েছে যা দেখায় যে এই ম্যাপিংটি প্রায় জোড়া লাগানো দূরত্বগুলি সংরক্ষণ করে।

যাইহোক, সম্প্রতি আমি এই নোটগুলি পেয়েছি যেখানে লেখক দাবি করেছেন যে এলোমেলো ম্যাট্রিক্সের সাথে এই ম্যাপিংটি শব্দের কঠোর রৈখিক বীজগণিত অর্থে (পৃষ্ঠা 6) কোনও অভিক্ষেপ নয় । সেখানে বর্ণিত ব্যাখ্যা থেকে, এটি কারণ, যখন এর এন্ট্রিগুলি থেকে স্বতন্ত্রভাবে নির্বাচিত হয় তখন $R$ এর কলামগুলি কঠোরভাবে অর্থেগোনাল হয় না । অতএব, আরপি এর পূর্ববর্তী সংস্করণগুলিতে যেখানে কলামগুলির অরথোগোনালিটি প্রয়োগ করা হয়েছিল তাকে প্রজেকশন হিসাবে বিবেচনা করা যেতে পারে। $\mathcal N(0,1)$ $R$

আপনি কি (1) এর আরও বিশদ ব্যাখ্যা দিতে পারবেন এই কঠোর অর্থে কোনও প্রক্ষেপণের সংজ্ঞা কী এবং (২) আরপি এই নির্ধারণের অধীনে কোনও প্রক্ষেপণ কেন নয় ?.

— ড্যানিয়েল ল্যাপেজ
সূত্র

1

আপনি আমাদের সাইটে অনুসন্ধান করে (1) এর উত্তর পেতে পারেন । কথন (2) অবিলম্বে যদি কলাম কারণ ছিল সবসময় লম্ব, তাদের এন্ট্রি স্বাধীন হতে পারে না।

— শুক্র

4

এই কঠোর (লিনিয়ার বীজগণিত) অর্থে (শব্দের) কোনও প্রক্ষেপণের সংজ্ঞা কী?

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

লিনিয়ার বীজগণিত এবং কার্যকরী বিশ্লেষণে, একটি অভিক্ষেপটি একটি ভেক্টর স্পেস থেকে নিজের মধ্যে এমন একটি লিনিয়ার রূপান্তর $P$ হয় যে $P^2 = P$ । অর্থাৎ, যখনই কোনও মানকে $P$ দ্বিগুণ প্রয়োগ করা হয়, এটি একই ফলাফল দেয় যেন এটি একবার প্রয়োগ করা হয়েছিল (আদর্শবান)।

অরথোগোনাল প্রোজেকশন বা ভেক্টর প্রক্ষেপণের জন্য আপনার কাছে এটি রয়েছে

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

অরথোগোনাল প্রজেকশন হ'ল একটি অভিক্ষেপ যার জন্য রেঞ্জ ইউ এবং নাল স্পেস ভি অরথোগোনাল সাবস্পেস হয়।
এই সংজ্ঞা অনুসারে আরপি কেন প্রক্ষেপণ নয়?

মাইকেল মাহুনি আপনার বক্তৃতায় নোট লিখেছেন যে এটি কীভাবে আরপি নির্মিত হয় তার উপর নির্ভর করে , আরপি প্রথাগত লিনিয়ার বীজগণিত অর্থে কোনও প্রক্ষেপণ কিনা। এটি তিনি তৃতীয় এবং চতুর্থ পয়েন্টে করেছেন:

তৃতীয়ত, যদি এলোমেলো ভেক্টরগুলি হুবহু অরথোগোনাল হয় (যেহেতু তারা প্রকৃত জেএল নির্মাণে ছিল) তবে আমাদের কাছে জেএল প্রজেকশনটি অর্থোথোনাল প্রজেকশন ছিল

...

কিন্তু যদিও এই Gaussians জন্য মিথ্যা $\lbrace \pm \rbrace$ র্যান্ডম ভেরিয়েবল, এবং অন্যান্য অধিকাংশ বাক্য, এক প্রমাণ করিতে পারেন যে ফলে ভেক্টর প্রায় ইউনিট দৈর্ঘ্য এবং প্রায় লম্ব হয়

...

এটি "যথেষ্ট ভাল"।

সুতরাং আপনি মূলত, ভিন্ন নির্মাণের সাথে এলোমেলোভাবে প্রক্ষেপণ করতে পারেন যা অর্থথোনাল ম্যাট্রিক্সের মধ্যে সীমাবদ্ধ (যদিও এটি প্রয়োজন হয় না)। উদাহরণস্বরূপ আসল কাজটি দেখুন:

জনসন, উইলিয়াম বি, এবং জোরাম লিন্ডেনস্ট্রাস। "লিপস্টিজের বর্ধিতকরণ হিলবার্টের স্থানে ম্যাপিংয়ের জন্য" " সমসাময়িক গণিত 26.189-206 (1984): 1।

... যদি কেউ এলোমেলোভাবে বেছে নেয় তে একটি র‌্যাঙ্ক $k$ অরথোগোনাল প্রজেকশন $l_2^n$

...

$Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

উইকিপিডিয়া এন্ট্রি এলোমেলোভাবে প্রক্ষেপণের বর্ণনা দেয় (10 এবং 11 পৃষ্ঠাগুলিতে বক্তৃতা নোটগুলিতে একই কথা বলা হয়েছে)

https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

$S^{d − 1}$

আপনি যখন সাধারণ ডিস্ট্রিবিউশন সহ ম্যাট্রিক্সের এলোমেলো এবং স্বতন্ত্র ভেরিয়েবলগুলিতে সমস্ত ম্যাট্রিক্স-এন্ট্রি গ্রহণ করেন তবে আপনি সাধারণত এই অরথোগোনালটিটি পাবেন না (যেমন হুইবার তার মন্তব্যে খুব সাধারণ পরিণতিতে উল্লেখ করেছেন "যদি কলামগুলি সর্বদা অরথোগোনাল হত তবে তাদের এন্ট্রিগুলি হতে পারে) স্বাধীন না ")।

$R$ $P = R^TR$ $b = R^T x$ $x' = Rb = R^TRx$ $R^TR$

$P=R^TR$ $U$

$range(P^T P)$ $\lbrace 0, 1 \rbrace$

^{$P$ $R$ $P = R^TR$ $R$}

সুতরাং মেট্রিক্সে এলোমেলো এন্ট্রি ব্যবহার করার মতো বিভিন্ন নির্মাণের দ্বারা এলোমেলো প্রজেকশন কোনও অর্থোজনাল প্রক্ষেপণের সমান নয়। তবে এটি গণনামূলকভাবে সহজ এবং মাইকেল মাহুনির মতে এটি "যথেষ্ট ভাল"।

— সেক্সটাস এম্পেরিকাস
সূত্র

1

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$

R R^{T}

$RR^T$

R

$R$

1

@ ড্যানিয়েললপেজ আমি এটি আপডেট করেছি।

— সেক্সটাস এম্পেরিকাস

6

এটি সঠিক: "র্যান্ডম প্রজেকশন" কঠোরভাবে কোনও প্রক্ষেপণ বলছে না।

$P$ $P^2 = P$

$d\times k$ $R$ $k\ll d$

$R$ $d\times k$ $U$

— জীবাণুবিশেষ
সূত্র

3

আপনার শেষ অনুচ্ছেদে আপনি বলেছেন যে কলামগুলি অর্থনোর্মাল হয় তবে লিনিয়ার বীজগণিতের মধ্যে কোনও প্রক্ষেপণ অর্থে প্রক্ষেপণটি এখনও প্রক্ষেপণ নয়। তবে এটি কেবল কারণ ম্যাট্রিক্স একটি বর্গ ম্যাট্রিক্স নয়। এটি নীতিগত কারণে তুলনামূলক কারণে বেশি। যদি আপনি শূন্যের সাথে ম্যাট্রিক্স প্রসারিত করেন তবে ম্যাট্রিক্স একটি লিনিয়ার প্রক্ষেপণ।

— সেক্সটাস এম্পেরিকাস

1

@ মার্তিজন ওয়েটারিংস না, আমার মনে হয় না। 2 ডি স্পেস এবং ইউটি 1x2 এবং এটি দেখতে দেখতে: [বর্গক্ষেত্র (2) / 2, স্কয়ার্ট (2) / 2] (তির্যকটি প্রজেকশন অনুসারে)। এখন এটি জিরো দিয়ে প্রসারিত করুন। এটি নিজের স্কোয়ারের সমান হবে না।

— অ্যামিবা

1

এটি অন্য কোনও উপায়ে প্রসারিত করা উচিত, সম্পন্ন করা যায়

— কেজেটিল বি হালওয়ারসেন

2

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— সেক্সটাস এম্পেরিকাস

2

R

$R$

1

$d\times k$ $R$ $R$ $x\in \mathbb R^d$ $R$

$p = xR(R^TR)^{-1}R^T$ $p\in\mathbb R^d$

$R$ $R^TR = I\in \mathbb R^{k\times k}$ $x$ $R$

$p = xRR^T$ $p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$ $(RR^T)^2=RR^TRR^T=RR^T$

$R$ $\mathbb R^k$ $\mathbb R^d$ $x\in\mathbb R^d$ $xRR^T$ $R$ $RR^T$

আপনি যদি আমার যুক্তিটি এখানে নিশ্চিত / সংশোধন করতে পারতেন তবে আমি কৃতজ্ঞ হব।

রেফারেন্স:

[1] http://www.dankalman.net/AUhome/classes/classS17/linalg/projections.pdf

— ড্যানিয়েল ল্যাপেজ
সূত্র

1

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

1

R R^{T}

$RR^T$

R

$R$

2

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

-1

যদি আপনি দ্রুত ওয়ালশ হাডামারডের পূর্বে রিকম্পপটেবল র‌্যান্ডম সাইন ফ্লিপিং বা ক্রমচারণ ব্যবহার করেন তবে এলোমেলো প্রজেকশনটি রূপান্তরিত হয়।

— শন ও'কনোর
সূত্র