লসো-ইন ল্যাগের ক্রমটি?

Question

ধরুন আমার (আমার একাধিক পর্যবেক্ষণ আছে, এটি কেবলমাত্র ফর্ম) এর অনুদৈর্ঘ্য তথ্য রয়েছে । আমি উপর নিষেধাজ্ঞাগুলিতে আগ্রহী । একটি অবাধ গ্রহণ সমতূল্য সঙ্গে ।$\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$$\Sigma$$\Sigma$

$$Y_j = \alpha_j + \sum_{\ell = 1} ^ {j - 1} \phi_{\ell j} Y_{j-\ell} + \varepsilon_j$$ $\varepsilon_j \sim N(0, \sigma_j)$

এটি সাধারণত করা হয় না কারণ এর জন্য কোভেরিয়েন্স প্যারামিটারগুলি অনুমান করা প্রয়োজন । একটি মডেল হ'ল "লেগ- " যদি আমরা অর্থাৎ আমরা কেবল পূর্ববর্তীটি ব্যবহার করি ভবিষ্যদ্বাণী করা পদ ইতিহাস থেকে।$O(J^2)$$k$

$$Y_j = \alpha_j + \sum_{\ell = 1} ^ k \phi_{\ell j} Y_{j - \ell} + \varepsilon_j,$$ $k$$Y_j$

আমি যা করতে চাই তা হ'ল লাসোর মতো কিছু zero শূন্য করার জন্য একরকম সঙ্কুচিত ধারণাটি ব্যবহার করা । তবে বিষয়টি আমি পদ্ধতি আমি মডেল যা lag- হয় পছন্দ করার জন্য ব্যবহার চাই, হয় কিছু ; আমি কম অর্ডার ল্যাগের চেয়ে উচ্চতর অর্ডারকে বেশি শাস্তি দিতে চাই। আমি মনে করি এটি ভবিষ্যতবাণীবিদদের সাথে খুব বেশি সম্পর্কযুক্ত এমন একটি বিষয় যা আমরা বিশেষভাবে করতে চাই।$\phi_{\ell j}$$k$$k$

একটি অতিরিক্ত সমস্যা হ'ল (যদি বলি) সঙ্কুচিত হয় তবে আমি এটিও চাই সঙ্কুচিত হয় , অর্থাৎ শর্তাধীন সমস্ত বিতরণে একই ল্যাগ ব্যবহৃত হয়।$\phi_{35}$$0$$\phi_{36}$$0$

আমি এটি নিয়ে অনুমান করতে পারি, তবে আমি চাকাটি পুনরায় উদ্ভাবন করতে চাই না। এই ধরণের সমস্যাটি পেতে কোনও লাসো কৌশল রয়েছে কি? ল্যাগ অর্ডারকে ধাপে ধাপে অন্তর্ভুক্ত করার মতো আমি কি পুরোপুরি অন্য কিছু করা থেকে ভাল? যেহেতু আমার মডেলের স্থানটি ছোট, তাই আমি অনুমান করি যে এই সমস্যাটির জন্য আমি একটি জরিমানাও ব্যবহার করতে পারি?$L_0$

Answer 1

আপনি কে = 0 থেকে সর্বাধিক যাই হোক না কেন বার বার ক্রস যাচাই করতে পারেন এবং কে এর বিপরীতে পারফরম্যান্স প্লট করতে পারেন। যেহেতু মডেলটি এটি আগে দেখা যায় না এমন তথ্যে পরীক্ষা করা হচ্ছে, জটিল মডেলগুলি আরও ভাল পারফর্ম করতে পারে তার কোনও গ্যারান্টি নেই, এবং প্রকৃতপক্ষে আপনার অত্যধিক ফিটনের কারণে মডেল খুব জটিল হয়ে উঠলে আপনার পারফরম্যান্সে অবক্ষয় দেখা উচিত। ব্যক্তিগতভাবে আমি মনে করি এটি একটি স্বেচ্ছাসেবী জরিমানার ফ্যাক্টর থাকার চেয়ে ন্যায়সঙ্গত হওয়া সহজ এবং সহজ, তবে আপনার মাইলেজটি ভিন্ন হতে পারে।

লাসোর প্রশ্নের উত্তরটি কীভাবে অর্ডার করা হয়েছে তা আমি সত্যিই অনুসরণ করি না। এটি অত্যন্ত সীমাবদ্ধ বলে মনে হচ্ছে এটি সম্পূর্ণ সহগের ক্রমকে বাধ্য করছে। মূল প্রশ্নটি যেখানে সমাধান হতে পারে এমন কিছু ডেটা শেষ হতে পারে$\phi_{lj}$ এল দিয়ে কঠোরভাবে হ্রাস পাচ্ছে না।

Comments

আপনার প্রশ্নে ল্যাটেক্স যুক্ত করতে ডলার চিহ্ন ($) এর মধ্যে প্রকাশটি বন্ধ করুন।

— প্যাট্রিক কৌলম্বে

(1) একমাত্র মডেল থেকে, এটি স্পষ্ট নয় যে সহগ ক্রমটি অর্ডার করা পছন্দসই, তবে মূলত এটি যুক্তিসঙ্গত। একটি পুনরাবৃত্ত পদক্ষেপে ক্লিনিকাল ট্রায়াল, উদাহরণস্বরূপ, এটির একটি ছোট্ট খাঁটি কাটা আশা করার কোনও যথাযথ কারণ নেই$Y_{j-2}$ stochastically প্রভাব $Y_j$ একটি ক্ষুদ্র ক্ষোভের চেয়ে বেশি $Y_{j-1}$। আদেশ দেওয়া এলএএসএসও এই অগ্রাধিকার জ্ঞানটিকে আরও ভালভাবে ব্যবহার করে, এটি নাও হতে পারে এমন সামান্য ঝুঁকি নিয়ে।

— লোক

(২) সাধারণত, আমি এই সিভি কৌশলটি কমপক্ষে আংশিকভাবে ব্যবহার করব না কারণ এটি খুব কূটকৌশলপূর্ণ। আমি পুরোপুরি বাইরে ফেলে দেওয়ার পরিবর্তে ন্যায়বিচারে ল্যাগটি সঙ্কুচিত করে আরও ভাল ভবিষ্যদ্বাণী পেতে পারি।

— লোক

নীড়, আদেশযুক্ত লাসো সম্পর্কে একটি দরকারী মন্তব্য। আমি আমার উত্তরটি আরও বিস্তৃত হতে সম্পাদনা করেছি। ধন্যবাদ!

— শান ইস্টার

ধন্যবাদ শান ছেলে, আমি মনে করি না যে এটি খুব স্পষ্টবাদী। আপনি পাথরে আক স্থাপন করছেন না, বরং এটি পরিবর্তিত করার অনুমতি দিচ্ছেন। এটি বেছে নিয়েছে কে ওভারফিটিংয়ের সূচনাতে। অগ্রণী জ্ঞান বলে আপনার বক্তব্যের সাথেও আমি দৃ strongly়ভাবে একমত নই। কিছু যুক্তিসঙ্গত বলে মনে হচ্ছে এবং সে জিনিসটি জানার বিষয়টি সম্পূর্ণ আলাদা। আমি অবশ্যই স্বীকার করতে পারি যে প্রথাগত পরিসংখ্যানগুলির মধ্যে বৈধতা যা আমি কখনও বুঝতে পারি নি তা পার করার জন্য একটি প্রতিরোধ বলে মনে হচ্ছে। আমি কোনও দিন অনুমান যুক্ত করার চেয়ে নমুনা ডেটার বাইরে ভবিষ্যদ্বাণীমূলক দক্ষতা বেছে নেব।

— নীড় ফ্রিডম্যান

Answer 2

আদেশ Lasso করা কি আপনি যা খুঁজছেন বলে মনে হয়: এটা নির্ণয় নিয়মিত রিগ্রেশন কোফিসিয়েন্টস$\beta_{1...j}$ স্ট্যান্ডার্ড লাসো হিসাবে, তবে এটি অতিরিক্ত বাধা to $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$।

এটি উচ্চতর-অর্ডের জন্য পিছনে সহগের দুটি শূন্যের দ্বিতীয় লক্ষ্য অর্জন করে, তবে নিম্নতর ব্যবধানের মডেলটিকে প্রাধান্য দেওয়ার একক সীমাবদ্ধতার চেয়ে বেশি সীমাবদ্ধ। এবং অন্যরা দেখায় যে এটি একটি ভারী বাধা যা ন্যায়সঙ্গত হওয়া খুব কঠিন হতে পারে।

ক্যাভ্যাটগুলির সাথে বিতরণ করার পরে, কাগজটি বাস্তবের এবং অনুকরণের সময় সিরিজের উভয় ডেটা এবং পদ্ধতির ফলাফলগুলি সহগের অনুসন্ধানের জন্য বিশদ অ্যালগরিদম উপস্থাপন করে। উপসংহারে একটি আর প্যাকেজ উল্লেখ করা হয়েছে, তবে কাগজটি বরং সাম্প্রতিক এবং "অর্ডারযুক্ত লাসো" এর জন্য ক্র্যানের একটি অনুসন্ধান খালি উঠে এসেছে, তাই আমি সন্দেহ করি যে প্যাকেজটি এখনও বিকাশে রয়েছে।

কাগজটি একটি সাধারণ পদ্ধতিও সরবরাহ করে যাতে দুটি নিয়মিতকরণ পরামিতি "নিকট-একঘেয়েতাকে উত্সাহিত করে।" (পৃষ্ঠা 6. দেখুন)) অন্য কথায়, একটি স্বাচ্ছন্দ্য অর্ডার দেওয়ার জন্য প্যারামিটারগুলি টিউন করতে সক্ষম হওয়া উচিত। দুঃখের বিষয়, শিথিল পদ্ধতির উদাহরণ বা তুলনা দুটি সরবরাহ করা হয়নি। তবে, লেখকরা লিখেছেন যে এই পরিবর্তনটি বাস্তবায়ন করা একটি অ্যালগরিদমকে অন্যের সাথে প্রতিস্থাপনের একটি সহজ বিষয়, তাই একজন আশা করছেন এটি আসন্ন আর প্যাকেজের অংশ হবে।

Comments

ধন্যবাদ, এটি সত্যিই আকর্ষণীয় যে এটি সাম্প্রতিক ধারণা is আমি 9 মাস আগে প্রশ্নটি জিজ্ঞাসা করার সময় একটি বন্ধুর সাথে সমস্যাটি নিয়ে আবার আলোচনার ক্ষেত্রে একই ধারণাটি নিয়ে এসেছি, তবে কখনই গভীরতার সাথে এটি তদন্ত করিনি! আমি কেবল ধরে নিয়েছি ধারণাটি উপন্যাস নয়, বা অন্য কেউ ইতিমধ্যে এটি নিয়ে একটি কাগজ লিখেছিলেন।

— লোক

বেশ স্বাগত! আমি নিজেই অবাক হয়েছি যে এটি খুব সাম্প্রতিক ছিল।

— শান ইস্টার

Answer 3

নেস্টেড লাসো পেনাল্টি ( পিডিএফ ) নিযুক্ত করা যেতে পারে তবে এর জন্য কোনও আর প্যাকেজ নেই।

Comments

বর্তমানে, এটি একটি উত্তর চেয়ে মন্তব্য বেশি। নেস্টেড লাসো জরিমানা ইত্যাদি নিয়ে আলোচনা করে আপনি কি এটি কিছুটা প্রসারিত করতে পারেন?

— গুং - মনিকা পুনরায়

Answer 4

আমি জানি আপনি এটি একটি ভিত্তি হিসাবে লিখেছেন, তবে আমি নিশ্চিত যে এই জিনিসটি প্রয়োজনীয় তা নিশ্চিত না করেই অর্ডারড লাসো ব্যবহার করব না, কারণ আদেশিত এলএএসএএসওর অনুমানগুলি সময়-সিরিজের পূর্বাভাসের জন্য সরাসরি উপযুক্ত নয়। একটি পাল্টা উদাহরণ হিসাবে, বিবেচনা করুন যেখানে আপনার দেরি-সময় আছে, বলুন, পরিমাপ এবং লক্ষ্যটির মধ্যে দশটি সময়-পদক্ষেপ। স্পষ্টতই, অর্ডারযুক্ত লাসো সীমাবদ্ধতাগুলি প্রথম নয়টি পরামিতিগুলিকে বাজে বাজেয়াপ্ত করে এমন প্রভাবগুলি পরিচালনা করতে পারে না।

বিপরীতে, আমি বরং স্বাভাবিক লাসোতে লেগে থাকব এবং পূর্ববর্তী সমস্ত পর্যবেক্ষণকে অন্তর্ভুক্ত করব - বিশেষ করে কারণ আপনি লিখেছেন যে আপনার মডেলের স্থানটি ছোট, এবং লাসো-র জন্য সমন্বিত-বংশোদ্ভূত অপ্টিমাইজেশন রুটিনগুলি ( এখানে বর্ণিত ) বড় ডেটাসেটের জন্যও দক্ষতার সাথে কাজ করছে। তারপরে নিয়মিতকরণ শক্তি পরামিতিগুলির জন্য পথটি গণনা করুন$\lambda$ এবং দেখুন যে আপনি বড় থেকে কোনও প্যারামিটারগুলি অন্তর্ভুক্ত করবেন $\lambda$ প্রতি $\lambda=0$। বিশেষত এর আগে যেগুলি অন্তর্ভুক্ত ছিল সেগুলি গুরুত্বপূর্ণ।

শেষ অবধি, আপনাকে একটি উপযুক্ত মানদণ্ড নির্বাচন করতে হবে এবং প্যারামিটারটি অপ্টিমাইজ করতে হবে $\lambda$ক্রস-বৈধকরণ, স্ট্যান্ডার্ড এক-মাত্রিক মিনিমাইজেশন বা যা কিছু ব্যবহার করুন। উদাহরণস্বরূপ উদাহরণটি "ভবিষ্যদ্বাণী ত্রুটি + অন্তর্ভুক্ত ভেরিয়েবলের সংখ্যা" (--এআইসির মানদণ্ডের মতো) হিসাবে কিছু হতে পারে।

Comments

আমি অবশ্যই সহগের ক্রমগুলির প্রতিবন্ধকতাগুলির প্রতি আগ্রহী হব না যদি আমার এটির বিশ্বাস করার দৃ strong ় কোনও কারণ নেই। যে মডেলগুলি আমার সন্দেহ হওয়ার সম্ভাবনা রয়েছে, তাদের জন্য, তাত্ত্বিকভাবে আদেশিত এলএএসএসও আরও দক্ষ হওয়া উচিত। অন্যান্য 9 টি 0 থাকার সাথে একটি ল্যাগ -10 সহগ থাকা আমার স্থিতিশীল সেটিংটিতে কোনও অর্থ দেয় না । এটি এমন একটি সমস্যা যা আমার সহকর্মীরা কাজ করেছেন (ল্যাগগুলিতে অর্ডারযুক্ত বেসিক সঙ্কোচন), তবে তারা বায়সুয়ান ধারণাগুলি ব্যবহার করেছে এবং তাই কোনও (বেইসিয়ান) লাসো বিবেচনা করবে না।

— লোক 15 ই

ঠিক আছে, আপনি কি করছেন তা আপনার মনে হয়। তবে মনে রাখবেন যে অর্ডারযুক্ত এলএএসএসও আপনার "একবার শূন্য - সর্বদা শূন্য" বিবৃতিটির চেয়ে আরও দৃ strongly়ভাবে বাঁধা রয়েছে। বিকল্পভাবে, আপনি এমন কোনও মডেল বিবেচনা করতে পারেন যেখানে পরামিতিগুলি বহু গুণক উপায়ে প্রবেশ করে। তারপরে, কোনও সহগ শূন্য না হওয়া অবধি আপেক্ষিক গুরুত্ব বৃদ্ধি বা কমে যেতে পারে।

— ডেভিডিঘ