লাসো রিগ্রেশন সময় জটিলতা কি?

Question

সারি বা কলামগুলির সংখ্যা বাড়ার সাথে সাথে লাসো রিগ্রেশনের অ্যাসিপটোটিক সময়ের জটিলতা কী?

Answer 1

স্মরণ করুন যে লাসো একটি নিয়মিতকরণ সহ একটি রৈখিক মডেল ।$l_1$

পরামিতিগুলি সন্ধান করা একটি নিয়ন্ত্রণহীন অপ্টিমাইজেশান সমস্যা হিসাবে তৈরি করা যেতে পারে, যেখানে পরামিতিগুলি দেওয়া হয়

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$ ।

সীমাবদ্ধ সূচনায় প্যারামিটারগুলি দ্বারা দেওয়া হয়

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

যা একটি চতুর্ভুজ প্রোগ্রামিং সমস্যা এবং এইভাবে বহুপদী।

প্রায় সমস্ত উত্তল অপ্টিমাইজেশান রুটিন এমনকি স্নায়বিক নেটওয়ার্কগুলির মতো নমনীয় ননলাইনার জিনিসগুলির জন্যও, আপনার টার্গেট রিট প্যারামিটারগুলির ডেরাইভেটিভ গণনার উপর নির্ভর করে। আপনি যদিও এর ডেরিভেটিভ নিতে পারবেন নাযেমন আপনি বিভিন্ন কৌশল নির্ভর। পরামিতিগুলি সন্ধানের জন্য অনেকগুলি পদ্ধতি রয়েছে। এখানে এল 1-নর্ম নিয়মিতকরণের সাথে ন্যূনতম স্কোয়ার্স অপটিমাইজেশন বিষয়টির একটি পর্যালোচনা পত্র । পুনরাবৃত্ত উত্তল অপ্টিমাইজেশনের সময়-জটিলতা বিশ্লেষণ করার জন্য এক ধরণের জটিল, কারণ এটি একটি রূপান্তর মানদণ্ডের উপর নির্ভর করে। সাধারণত, পুনরুক্তিজনিত সমস্যাগুলি পর্যবেক্ষণগুলি বাড়ার সাথে সাথে কম সময়ের মধ্যে রূপান্তরিত হয়।$\alpha||w||_1$

Comments

বেশ কয়েকটি বিষয়: সমস্যাটি "বহুবর্ষ" বলে বলা বিশেষত কার্যকর নয়, যদি না আপনি সম্ভবত একরকম সংযুক্ত সমস্যা (যা সাধারণত ঘৃণ্য হয়) দেখছেন। দ্বিতীয়ত, ডেরাইভেটিভস গণক প্রায় কাছাকাছি সবসময় না সীমিত ধাপ। তৃতীয়ত, সাধারণত কোনও পুনরাবৃত্ত অ্যালগরিদমের সময়ের জটিলতা নিয়ে আলোচনা করার সময়, একজন সাধারণত প্রতি পদক্ষেপ ব্যয় দেখে থাকে এবং এইভাবে রূপান্তর মানদণ্ডের উপর নির্ভর করে না । পরিশেষে, এটি সাধারণত দেখা যায় না যে আরও পর্যবেক্ষণ = কম পুনরাবৃত্তি।

— ক্লিফ এবি

Answer 2

@ জ্যাকবমিক যখন একটি বিস্তৃত ওভারভিউ এবং একটি পর্যালোচনা কাগজের লিঙ্ক সরবরাহ করে, আমাকে একটি "শর্টকাট উত্তর" (যা তার উত্তরের একটি বিশেষ কেস হিসাবে বিবেচনা করা যেতে পারে) দিতে দিন।

প্রার্থী ভেরিয়েবলের সংখ্যা (বৈশিষ্ট্য, কলাম) হতে হবে এবং নমুনার আকার (পর্যবেক্ষণের সংখ্যা, সারি) হতে হবে । লারস অ্যালগরিদম ( ইফ্রন এট আল।, 2004 ) ব্যবহার করে প্রয়োগ করা লাসো বিবেচনা করুন । লাসোর গণ্য জটিলতা হ'ল th ( আইবিড। )$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• জন্য , এবং Lasso এর গণনীয় জটিলতা হয় , যা দিয়ে একটি রিগ্রেশন যে একই হয় ভেরিয়েবল ( এফরন এট আল।, 2004 , পৃষ্ঠা 443-444; শ্মিড্ট , 2005 , বিভাগ 2.4 এও উল্লেখ করা হয়েছে ; একটি রিগ্রেশনের গণনার জটিলতার জন্য এই পোস্টটি দেখুন )।$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• জন্য , এবং Lasso এর গণনীয় জটিলতা হয় ( এফরন এট আল।, 2004 )।$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

তথ্যসূত্র:

• ইফ্রন, ব্র্যাডলি, ইত্যাদি। "সর্বনিম্ন কোণ রিগ্রেশন" " পরিসংখ্যানগুলির এ্যানালস 32.2 (2004): 407-499।
• শ্মিড্ট, মার্ক। "L1-আদর্শ নিয়মিতকরণের সাথে স্বল্প স্কোয়ার অপ্টিমাইজেশন" " CS542 বি প্রকল্প প্রতিবেদন (2005)।

Comments

রিচার্ড, আপনি এখানে জিএলএম পদ্ধতির জন্য পুনরাবৃত্তি জটিলতার বিষয়ে মন্তব্য করতে পারেন stats.stackexchange.com/questions/280304/… ?

— rnoodle

@ মুডল, আমি এর গভীরে খনন করতে পারি না (যার জন্য এই মুহুর্তে আমার সময় নেই), তবে আপনার প্রশ্নের জন্য +1 করব।

— রিচার্ড হার্ডি

আমি একটি চেহারা ছিল, কিন্তু এটি পরিষ্কার নয় - এটির উপর দ্বিতীয় জোড়া চোখ রাখাই ভাল। সুতরাং পুনরাবৃত্তি জটিলতা এবং সম্পূর্ণ রূপান্তর জটিলতা আছে এবং আমি মনে করি যে সংজ্ঞাগুলি কখনও কখনও সংজ্ঞাগুলির তুলনায় কিছুটা অস্পষ্ট হয়। মূলত আমার কাছে একটি অ্যালগরিদম আছে যা খুব সমালোচনামূলক অবস্থানে লসো সলভার ব্যবহার করে যে আমার অ্যালগরিদমের জটিলতা দৃver়ভাবে सॉলভারের উপর নির্ভরশীল। এই পেরেক ভাল হবে। চিয়ার্স! আপনার

— ইনপুটটির

@ আরনডল, আমি দৃ strongly়ভাবে সন্দেহ করছি যে আমি শীঘ্রই যে কোনও সময় আপনাকে সেখানে সাহায্য করতে সক্ষম হব, তবে অনুগ্রহকারীরা অবশ্যই আরও ভালভাবে পরিচিত অন্য লোকেদের আকর্ষণ করতে পারে। শুভকামনা!

— রিচার্ড হার্ডি