স্কেলেবল মাত্রা হ্রাস

Question

স্থির বৈশিষ্ট্যগুলির সংখ্যা বিবেচনা করে, বার্নস-হট টি-এসএনই- তে একটি জটিলতা রয়েছে , এলোমেলো প্রক্ষেপণ এবং পিসিএ-তে একটি জটিলতা রয়েছে এগুলিকে খুব বড় ডেটা সেটগুলির জন্য "সাশ্রয়ী" করে তোলে।$O(n\log n)$$O(n)$

অন্যদিকে, বহুমাত্রিক স্কেলিংয়ের উপর নির্ভরশীল পদ্ধতিগুলির একটি জটিলতা রয়েছে।$O(n^2)$

অন্যান্য মাত্রা হ্রাস কৌশলগুলি (তুচ্ছ বিষয়গুলি বাদ দিয়ে, যেমন প্রথম কলামগুলি দেখার মতো অবশ্যই) যার জটিলতা চেয়ে কম ?$k$$O(n\log n)$

Answer 1

একটি আকর্ষণীয় বিকল্পটি নিউরাল-ভিত্তিক মাত্রিকতা হ্রাস অন্বেষণ করবে। মাত্রিকতা হ্রাসের জন্য সর্বাধিক ব্যবহৃত ধরণের নেটওয়ার্ক, অটোরকোডারটি এর ব্যয়ে প্রশিক্ষণ দেওয়া যেতে পারে , যেখানে প্রশিক্ষণের পুনরাবৃত্তিগুলি উপস্থাপন (প্রশিক্ষণের ডেটা থেকে পৃথক একটি হাইপার-প্যারামিটার) । অতএব, প্রশিক্ষণ জটিলতা সহজসাধ্য করার জন্য ।$\mathcal{O}(i\cdot n)$$i$$\mathcal{O}(n)$

আপনি 2006 সালে হিন্টন এবং সালাখুতদিনোভের সেমিনারের কাজটি একবার দেখে শুরু করতে পারেন [1]। সেই থেকে, জিনিসগুলি অনেকটা বিকশিত হয়েছিল। এখন বেশিরভাগ দৃষ্টিভঙ্গি ভেরিয়েশনাল অটেনকোডার্স দ্বারা প্রাপ্ত [2], তবে মূল ধারণাটি (একটি নেটওয়ার্ক যা এর আউটপুট স্তরটিতে ইনপুটটিকে একটি বোতল স্তরের সাথে মধ্যবর্তী স্থানে পুনর্গঠন করে) একই থাকে। মনে রাখবেন যে, পিসিএ এবং আরপির বিপরীতে, অটোরকোডারগুলি অলৈখিক মাত্রিক হ্রাস সম্পাদন করে। এছাড়াও, টি-এসএনইর বিপরীতে, অটেনকোডাররা পুরো মডেলটিকে পুনরায় প্রশিক্ষণের প্রয়োজন ছাড়াই অদেখা নমুনাগুলি রূপান্তর করতে পারে।

ব্যবহারিক দিক থেকে, আমি এই পোস্টটি একবারে দেখেছি , যা আশ্চর্যজনক লাইব্রেরি কেরাসের সাথে কীভাবে বিভিন্ন ধরণের অটোইনকোডারগুলি প্রয়োগ করতে হবে তার বিশদ দেয়।

[1] হিন্টন, জিই, এবং সালখুদ্দিনভ, আরআর (2006)। নিউরাল নেটওয়ার্কগুলির সাহায্যে ডেটার মাত্রিকতা হ্রাস করা। বিজ্ঞান, 313 (5786), 504-507।

[2] কিংমা, ডিপি, এবং ওয়েলিং, এম (2013)। অটো-এনকোডিং ভেরিয়েশনাল বেয়েস। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1312.6114।

Comments

টেকনিক্যালি আপনি কি না : এই বিশেষ পদ্ধতির ব্যবহার টি-Sne সাথে নতুন নমুনার জন্য মডেলকে আবার শেখতে আছে lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf

— bibliolytic

অবশ্যই। সম্ভাব্য পন্থা হিসাবে মানচিত্রের অবস্থানের ফর্ম ইনপুট ডেটা নমুনাগুলির পূর্বাভাস দেওয়ার জন্য লেখক বহুবিধ রেজিস্ট্রারকে প্রশিক্ষণেরও পরামর্শ দিয়েছিলেন। কাগজে আপনি উল্লেখ করেছেন লেখক সরাসরি টি-এসএনই ক্ষতি হ্রাস করার জন্য একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ দেয়। তবে উভয় ক্ষেত্রেই আপনাকে ফলস্বরূপ স্থানের জন্য ডেটা পয়েন্ট মানচিত্রের জন্য একটি স্পষ্ট মডেল বা ফাংশন সংজ্ঞায়িত করতে হবে, সুতরাং এম্বেডিং শিখতে যথেষ্ট শক্তিশালী (পর্যাপ্ত স্তর / নিউরন) থাকতে হবে, তবে অতিরিক্ত-ফিটনেস এড়াতে খুব বেশি কিছু নয় ... এটি স্ট্যান্ডার্ড টি-এসএনইর ব্যবহারের কিছুটা ত্যাগ।

— ড্যানিয়েল

সেখানে কোনও মতবিরোধ নেই, আমি কেবলমাত্র আপনার উত্তরে যেমন কন্ট্রাস্ট অটোর কোডার এবং টি-এসএনই করা কিছুটা ভুল বলে মনে করি, টি-এসএনই হিসাবে মাত্রিকতা হ্রাসের জন্য ক্ষয় হিসাবে ব্যবহার করা যেতে পারে

— বাইব্লায়োলিটিক

যদিও এখন আমি আবার পড়েছি, একটি প্রশ্ন: আমরা কি আসলেই বলতে পারি যে নিউরাল নেটওয়ার্কগুলি actually , কারণ তারা বাস্তবে রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত নয়? বিগ-ও সংকেত সবচেয়ে খারাপ ক্ষেত্রে সীমাবদ্ধ, তাই না? $\mathcal{O}(n)$

— বাইবেলিওলিক

আমি নেয় টি-Sne ক্ষতি কম্পিউটিং যখন একটি নেটওয়ার্ক প্রশিক্ষণ যেহেতু অন্তর্ভুক্ত করা যে উত্তর চেয়েছিলেন করা হয়নি সময় যেখানে মিনি- ব্যাচ আকার। $\mathcal{O}(m^2)$$m$

— ড্যানিয়েল

Answer 2

ইতিমধ্যে উল্লিখিত অটোরকোডারগুলি ছাড়াও জনসন-লিন্ডেনস্ট্রাস লিমার সাথে এলোমেলো প্রক্ষেপণ বা এলোমেলো উপ-স্থান পদ্ধতি ব্যবহার করার চেষ্টা করা যেতে পারে । এলোমেলো অনুমানগুলি , সহ মাত্রার এবং লক্ষ্য মাত্রা, সিএফ [1] এর নমুনার সংখ্যা ।$\mathcal{O}(k d N)$$N$$d$$k$

কিছুটা গুগল আপনাকে খুব সাম্প্রতিক ফলাফলগুলি দেবে, বিশেষত স্পার্স ডেটাসেটের জন্য।

[1] মাত্রা হ্রাস এলোমেলো অভিক্ষেপ: চিত্র এবং পাঠ্য ডেটাতে অ্যাপ্লিকেশন ।