এসভিডি-র মাধ্যমে জনসন-লিন্ডেনস্ট্রাস লেমমা কখন ব্যবহার করবেন?

Question

জনসন-লিন্ডেনস্ট্রাউস লেমা একজনকে একটি উচ্চ মাত্রিক স্থানের মধ্যে নিম্ন মাত্রায় পয়েন্টগুলিতে উপস্থাপন করতে দেয়। সর্বোত্তম ফিটের নিম্ন মাত্রিক স্থানগুলি সন্ধান করার সময়, একটি মানক কৌশলটি হ'ল একক মান পচন এবং তারপরে বৃহত্তম একবাক্য মানগুলির দ্বারা উত্পন্ন উপসর্গ গ্রহণ করা। এসভিডির মাধ্যমে জনসন-লিন্ডেনস্ট্রাস ব্যবহার করা কখন আগ্রহী?

Answer 1

দুটি পদ্ধতির খুব আলাদা গ্যারান্টি সরবরাহ করে।

জেএল লেমমা মূলত বলেছেন "আপনি আমাকে যে ত্রুটি চান তা দিয়ে দিন এবং আমি আপনাকে একটি নিম্ন মাত্রিক স্থান দেব যা ত্রুটি পর্যন্ত দূরত্বগুলি ধারণ করে"। এটিও সবচেয়ে খারাপ ক্ষেত্রে জুটির গ্যারান্টি: প্রতিটি জোড়া পয়েন্ট ইত্যাদির জন্য

এসভিডি মূলত প্রতিশ্রুতি দেয় "আপনি আমাকে কোন মাত্রায় বাস করতে চান তা বলুন, এবং আমি আপনাকে সর্বোত্তম সম্ভাব্য এম্বেডিং দেব" যেখানে গড় হিসাবে "সেরা" সংজ্ঞায়িত করা হয় : প্রকৃত মিলের তুলনায় মোট ত্রুটি সর্বনিম্ন।

সুতরাং তাত্ত্বিক দৃষ্টিকোণ থেকে তারা খুব আলাদা সমস্যা সমাধান করে। অনুশীলনে আপনি কোনটি সমস্যার জন্য চান তা আপনার মডেলের উপর নির্ভর করে, কোন পরামিতিগুলি বেশি গুরুত্বপূর্ণ (ত্রুটি বা মাত্রা) এবং আপনার কী ধরনের গ্যারান্টি দরকার।

Comments

$f(\cdot)$

$A$$f(x)$$Ax$

$f$

$\ell_1$

Answer 2

এসভিডি এবং জেএল ভবিষ্যতের পয়েন্টগুলিতেও আলাদাভাবে এক্সট্রাপোলিট করে।

এটি হ'ল, যদি আপনি ধরে নেন যে আপনার ডেটা কিছু অন্তর্নিহিত বিতরণ থেকে এসেছে, নীতিগতভাবে এসভিডি ভবিষ্যতের যে কোনও পয়েন্টের জন্য একই বিতরণ থেকে নমুনা প্রাপ্ত হওয়া পর্যন্ত "ভাল" থাকা উচিত। অন্যদিকে, জেএল এর লক্ষ্য মাত্রা পয়েন্টের সংখ্যার উপর নির্ভর করে, যার অর্থ অতিরিক্ত পয়েন্টগুলিতে জেএল রূপান্তর প্রয়োগ করা ত্রুটির সম্ভাবনা বাড়িয়ে তুলতে পারে।

এটি প্রাসঙ্গিক হয়ে ওঠে যদি, উদাহরণস্বরূপ, আপনি যদি কিছু অন্যান্য অ্যালগরিদমের জন্য প্রিপ্রোসেসিং পদক্ষেপ হিসাবে মাত্রিকতা হ্রাস ব্যবহার করছেন। প্রশিক্ষণের ডেটাগুলির জন্য এসভিডি সীমানা পরীক্ষার ডেটা ধরে রাখতে পারে, তবে জেএল এর হবে না।

Comments

এটি একটি খুব ভাল দিক।

— পল সিগেল

Answer 3

সুরেশের উত্তরের এটি ফলোআপ - আমি তার উত্তরটি পড়ে কিছুটা গুগল করেছিলাম এবং নীচের বোঝাপড়াটি নিয়ে এসেছি। আমি মূলত তার উত্তরের মন্তব্য হিসাবে এটি পোস্ট করছিলাম তবে এটি ক্রমশ বাড়তে থাকে kept

উত্তরে ত্রুটিগুলি চিহ্নিত করুন, আমি এই ক্ষেত্রে কোনও বিশেষজ্ঞ নই।

কিছু অর্থে, জেএল এবং এসভিডি আপেল এবং কমলার মতো।

1) তাদের সমাধান করা সমস্যাগুলি সম্পূর্ণ আলাদা। একটি যুগল দূরত্বের সাথে সম্পর্কিত, অন্যটি সেরা উপস্থাপনের সাথে with একটিতে সবচেয়ে খারাপ অবস্থা, অন্যটি গড় ক্ষেত্রে।

$$\arg\min\limits_{P} \left\{\sup\limits_{u,v} \left(\Biggl\lvert 1- \frac{||Pu-Pv||_2}{||u-v||_2} \Biggl\rvert \right) \right\} \tag{1}$$

(এটি সুনির্দিষ্ট নয়, আমি পরে এ সম্পর্কে আরও মন্তব্য করব)

$k$

$$\arg\min\limits_{P\text{ of dim k}} \left\{\text{Avg}\left(||u-Pu||_2\right)\right\}$$

$\epsilon$

3) জেএল অ-গঠনমূলক, এসভিডি গঠনমূলক - এই বিন্দুটি কিছুটা অস্পষ্ট, কারণ গঠনমূলক শব্দটি সংজ্ঞায়িতভাবে সংজ্ঞায়িত হয় নি। এসভিডি কম্পিউটিংয়ের জন্য নির্ধারক অ্যালগরিদম রয়েছে তবে জেএল স্পেস সন্ধানের জন্য অ্যালগরিদম এলোমেলো একটি - এলোমেলো অনুমান করুন, যদি আপনি ব্যর্থ হন তবে আবার চেষ্টা করুন।

$\epsilon$

(উত্তরের স্ট্রাইক অংশগুলি সম্পর্কে ব্যাখ্যার জন্য মন্তব্যগুলি দেখুন)।

সম্পাদনা করুন: @ জন-মাইলস-হোয়াইট তার দাবিগুলি যাচাই করতে জেএল সম্পর্কে একটি পোস্ট লিখেছেন এবং কীভাবে একটি প্রজেকশন তৈরি করা যেতে পারে তা দেখান: http://www.johnmyleswhite.com/notebook/2014/03/24/a-note- on-the-জনসন-lindenstrauss-থিম /

Comments

আপনার উত্তরে বেশ কয়েকটি ত্রুটি রয়েছে। (1) জেএল অত্যন্ত গঠনমূলক: ম্যাপিংটি নির্মাণের জন্য সমস্ত ধরণের অ্যালগরিদম রয়েছে (২) এটি পার্থক্যটি সংরক্ষণ করে না তবে আপেক্ষিক পার্থক্য (অনুপাত) (3) জেএল লেমাটি ভেঙে ফেলা হয়েছে (4) জেএল কাজ করে জন্য কোন ভেক্টর সেট: নির্মাণ প্রকৃত ইনপুট স্বাধীন। কেবলমাত্র প্রয়োজনীয় তথ্য হ'ল ভেক্টরের সংখ্যা ।

— সুরেশ ভেঙ্কট

ধন্যবাদ সুরেশ। আমি আপনার চূড়ান্ত পরামর্শ ব্যতীত সকলকে অন্তর্ভুক্ত করেছি। উত্তর আরও সম্পাদনা করতে নির্দ্বিধায়। শেষ পয়েন্টে, আমি বিভ্রান্ত। আপনি বলছেন একই মানচিত্রটি আমি আপনাকে যে ভেক্টর দিয়েছি তা নির্ধারণ করে না?

— ইলেকশোবি 12:44

এটি একটি সামান্য সূক্ষ্ম বিন্দু। একবার আপনি ত্রুটিটি এবং ভেক্টরের সংখ্যা ঠিক করে নিলে মানচিত্রে একটি নির্দিষ্ট সম্ভাবনা বন্টন হয় যা কোনও সংখ্যক ভেক্টরের উচ্চ সম্ভাবনার সাথে কাজ করবে। অবশ্যই নির্ধারিত স্থির রৈখিক মানচিত্র নেই যা এই সম্পত্তিটিকে সন্তুষ্ট করে।

— সাশো নিকোলভ

অলিভিয়ার গ্রিসেলের বিজ্ঞান-শিখার বাস্তবায়ন

— কেএলডেভেনপোর্ট ২

$0$$1$$1$