গতি, পিসিএ, লাসো, ইলাস্টিক নেট এর গণনা ব্যয়

Question

আমি Hastie এট আল হিসাবে পৃথক হিসাবে লিনিয়ার রিগ্রেশন জন্য তিনটি পদ্ধতির পদ্ধতির গণনা জটিলতা / অনুমান গতির তুলনা করার চেষ্টা করছি। "পরিসংখ্যান শিক্ষার উপাদানসমূহ" (২ য় সংস্করণ), অধ্যায় 3:

1. সাবসেট নির্বাচন
2. সঙ্কুচিত পদ্ধতি
3. প্রাপ্ত ইনপুট দিকনির্দেশগুলি ব্যবহারের পদ্ধতিগুলি (পিসিআর, পিএলএস)

তুলনাটি খুব রুক্ষ হতে পারে, কিছু ধারণা দেওয়ার জন্য। আমি জড়ো করেছি যে উত্তরগুলি সমস্যার মাত্রা এবং এটি কীভাবে কম্পিউটার আর্কিটেকচারের সাথে ফিট করে তার উপর নির্ভর করতে পারে, সুতরাং একটি কংক্রিটের উদাহরণের জন্য কেউ 500 এবং 50 প্রার্থী রেজিস্ট্রারগুলির একটি নমুনা আকার বিবেচনা করতে পারে। আমি বেশিরভাগই গণনা সংক্রান্ত জটিলতা / অনুমানের গতির পিছনে প্রেরণায় আগ্রহী কিন্তু প্রদত্ত উদাহরণের জন্য কোনও নির্দিষ্ট প্রসেসরের ক্ষেত্রে এটি কতক্ষণ সময় নেয় তা নয়।

Comments

পিসিআর বা পিএলএস ব্যবহার করার সময়, উপাদান একটি টিউনিং প্যারামিটার (অনুরূপ শৈলশিরা রিগ্রেশনে)। সুতরাং উপাদানগুলির সর্বোত্তম সংখ্যার সন্ধান করতে এই পদ্ধতিগুলির ক্রস-বৈধতাও প্রয়োজন। লাসোতেও একটি নিয়মিতকরণ প্যারামিটার থাকে তবে ইলাস্টিক নেটটিতে দুটি থাকে (ইলাস্টিক নেট = রিজ + লাসো) তাই ক্রস-বৈধকরণ আরও ব্যয়বহুল। তা ছাড়া, অন্যান্য সমস্ত মডেলের তুলনায় লাসো সম্ভবত ধীর গতির কারণ এটির কোনও ক্লোজড-ফর্ম সমাধান নেই। $\lambda$

— অ্যামিবা বলেছেন মনিকাকে

ধন্যবাদ! আপনি মন্তব্য আরও একটি চমৎকার উত্তর দিতে হবে যদি আপনি আরও দুটি বিবরণ অন্তর্ভুক্ত: (1) পিসিআর এবং পিএলএস এর এক পুনরাবৃত্তি নিয়মিত প্রতিরোধের এক ওএলএস রান তুলনায় কত ব্যয়বহুল; (২) নিয়মিত প্রতিরোধের গতির সাথে তুলনীয় করে তুলতে লাসোর গতির পরিমাণ আরও স্পষ্টভাবে মাপুন (এটি কি বহুপদী, তাত্পর্যপূর্ণ বা লিনিয়ারালি আরও ব্যয়বহুল এবং কেন)।

— রিচার্ড হার্ডি

দুর্ভাগ্যক্রমে, আমার কাছে এটির জন্য প্রস্তুত উত্তর নেই, বিশেষত (2)। সে কারণেই আমি কেবল একটি মন্তব্য রেখেছি। +1, যাইহোক, এবং 5k প্রতিনিধি সহ অভিনন্দন!

— অ্যামিবা বলছেন মনিকাকে

@ আমেবা, ধন্যবাদ! আমি যখন গত বছর (খুব ধীরে ধীরে) শুরু করেছি তখন 5 কে পৌঁছানোর আশা করতে পারি না। তবে ক্রস ভ্যালিটেটেডে সক্রিয় সদস্য হওয়া খুব উত্তেজনাপূর্ণ এবং ফলপ্রসূ!

— রিচার্ড হার্ডি

@ অ্যামিবা, আমি মনে করি লারস অ্যালগরিদম ব্যবহার করা হলে আমি লাসো জটিলতার হাত ধরেছি; আমি সেই অনুযায়ী আমার পোস্ট আপডেট করেছি। তবে আমি এলআরএসের কাগজটি মনোযোগ সহকারে পড়িনি, সুতরাং এটি সঠিক কিনা তা সম্পর্কে আমি পুরোপুরি নিশ্চিত নই ...

— রিচার্ড হার্ডি

Answer 1

গোষ্ঠী 1 : গ্রুপ 1-
এর জটিলতা / গতি নির্ধারণ করা খুব কঠিন মনে হয় না যদি ব্রুট ফোর্স অ্যালগরিদম ব্যবহার করা হয় (যদিও "লিপস এবং সীমানা" অ্যালগরিদমের মতো আরও কার্যকর বিকল্প থাকতে পারে)। উদাহরণস্বরূপ, সম্পূর্ণ উপসেট নির্বাচনের জন্য কে প্রার্থীর বৈশিষ্ট্যগুলির একটি পুল সরবরাহ করে রিগ্রেশন ফিট করতে হবে । একটি OLS ঔজ্জ্বল্যের প্রেক্ষাপটে এক রৈখিক রিগ্রেশনের জটিলতা রয়েছে মাপসই হে ( কে 2 এন ) (প্রতি যেমন পোস্টটি ) যেখানে n হল নমুনা আকার। সুতরাং, ব্রুট-ফোর্স পূর্ণ উপসেট নির্বাচনের মোট জটিলতা ও ( 2 কে কে 2) হওয়া উচিত$2^K$$K$$\mathcal{O}(K^2 n)$$n$ ।$\mathcal{O}(2^K K^2 n)$

গ্রুপ 2 : গ্রুপ 2
এর জটিলতা / গতি বইয়ের 3.8 এবং 3.9 বিভাগে আলোচনা করা হয়েছে। উদাহরণস্বরূপ, শৈলশিরা একটি প্রদত্ত শাস্তি দিয়ে রিগ্রেশন একটি নিয়মিত রিগ্রেশন হিসাবে একই গণনীয় জটিলতা রয়েছে। যেহেতু λ পাওয়া যাবে দরকার ক্রস বৈধতা ব্যবহার, ডাটা ক্রস বৈধতা (বলুন, ব্যবহৃত টুকরা সংখ্যা গণনীয় লোড বৃদ্ধির সুসংগত এস )। যদি id গ্রিডে এল পয়েন্ট থাকে তবে λ পরামিতিটির সুরের সাথে রিজ রিগ্রেশনের মোট জটিলতা ও ( এল এস কে 2 এন ) হবে ।$\lambda$$\lambda$$S$$\lambda$$L$$\lambda$$\mathcal{O}(LSK^2 n)$
বইটিতে লাসো সম্পর্কে বেশ কিছু কথা আছে , তবে আমার যা প্রয়োজন তা আমি খুঁজে পাইনি। তবে, আমি পি। ইফ্রন এট আল এর 443। "লঘিষ্ট এঙ্গেল রিগ্রেশন" (2004) একটি দেওয়া Lasso জটিলতা একই হিসাবে একটি OLS ঔজ্জ্বল্যের প্রেক্ষাপটে জটিলতা রৈখিক রিগ্রেশনের উপযোগীতা যদি Lars পদ্ধতি ব্যবহার করা হয়। তারপর সুরকরণ সঙ্গে Lasso মোট জটিলতা λ প্যারামিটার হতে হবে হে ( এল এস কে 2 এন ) । (আমি সেই কাগজটি মনোযোগ সহকারে পড়িনি, সুতরাং দয়া করে যদি আমার এটির কোনও ভুল হয়ে থাকে তবে দয়া করে আমাকে সংশোধন করুন)) ইলাস্টিক নেটটি রিজ এবং লাসোকে সংযুক্ত করে; দুটি একই গণনা জটিলতা আছে; অতএব, ইলাস্টিক নেট এর জটিলতা হওয়া উচিত$\lambda$$\lambda$$\mathcal{O}(LSK^2 n)$
যেখানে A টিউনিং প্যারামিটারের গ্রিড আকার α যা লাসো এর তুলনায় রিজের ওজনের ভারসাম্য বজায় রাখে।$\mathcal{O}(ALSK^2 n)$$A$$\alpha$

গ্রুপ 3 :
আমি এখনও গ্রুপ 3 এর জটিলতা / গতির কোনও নোট মিস করছি যা মূল উপাদানগুলির রিগ্রেশন (পিসিআর) এবং আংশিক ন্যূনতম স্কোয়ার (পিএলএস) নিয়ে গঠিত।

Answer 2

এটি উপরোক্ত গ্রুপ 3 (যথা পিএলএস) এর 2 প্রশ্নের একটি অংশের জন্য, তবে তথাপি তা হতে পারে: শ্রীনিবাসন এট আল (২০১০, প্রযুক্তিগত প্রতিবেদন; দেখুন https://www.umiacs.umd.edu/~balajiv/ পেপারস / ইউএমডি_সিএসটিআর_পিএল_পিএস_জিপিইউ.পিডিএফ পিআইপিএস- এ এনআইপিএলএস অ্যালগরিদম ব্যবহার করে কিছু পরিমাপ করেছে - উল্লেখ করেছেন যে এই সময়টির (এবং স্থান) জটিলতাটি হ'ল (ডিএন) - নিষ্কাশনের জন্য এবং বিভিন্ন মডেলগুলিতে এগুলি অন্তর্ভুক্ত করে) ক) চিত্রগুলিতে মানুষের সনাক্তকরণ, এবং খ ) মুখ স্বীকৃতি. পরিমাপগুলি তাদের নিজস্ব জিপিইউ ভিত্তিক বাস্তবায়ন ব্যবহার করে করা হয়েছিল।