ইলাস্টিক / রিজ / লাসো বিশ্লেষণ, তাহলে কী?


19

আমি ভবিষ্যদ্বাণী সঙ্কুচিত / নির্বাচনের জন্য ইলাস্টিক নেট পদ্ধতিতে সত্যই আগ্রহী হয়ে উঠছি। এটি খুব শক্তিশালী বলে মনে হচ্ছে।

তবে বৈজ্ঞানিক দৃষ্টিকোণ থেকে আমি সহকর্মীরা একবার পেয়ে গেলে কী করণীয় তা ভাল করে জানিনা। আমি কোন প্রশ্নের উত্তর দিচ্ছি? এটি সেই পরিবর্তনশীল যা ফলাফলটিকে সবচেয়ে বেশি প্রভাবিত করে এবং এইগুলি সহগগুলি যা বৈধতার সময় সেরা বৈকল্পিক / পক্ষপাত অনুপাত দেয়?

এটি অবশ্যই শাস্ত্রীয় পি মান / আত্মবিশ্বাসের ব্যবধানগুলির তুলনায় খুব বর্ণনামূলক / ভবিষ্যদ্বাণীমূলক পদ্ধতি। আনুষ্ঠানিক অনুমানটি এখন তিবশিরানী অ্যান্ড কোং দ্বারা অধ্যয়ন করা হয়েছে তবে এটি এখনও পরীক্ষামূলক।

কিছু লোক ক্লাসিকাল আনুপাতিক বিশ্লেষণ সম্পাদন করতে ইলাস্টিক নেট দ্বারা নির্বাচিত পরিবর্তনগুলি ব্যবহার করছেন, তবে এটি কৌশল দ্বারা আনা বৈকল্পিকতার সীমাবদ্ধতা দূর করবে।

আর একটি সমস্যা হ'ল যেহেতু ইলাস্টিক নেট এর জন্য ল্যাম্বদা এবং আলফা প্যারামিটারগুলি ক্রস বৈধকরণের মাধ্যমে বেছে নেওয়া হয় তারা এলোমেলো পরিবর্তনশীলতার অধীন। সুতরাং প্রতিবার যখন আপনি চালাবেন (উদা।) সিভি.glmnet () আপনি সর্বদা বিভিন্ন সহগের সাথে ভবিষ্যদ্বাণীদের কিছুটা আলাদা উপসেট নির্বাচন করবেন।

আমি যদিও এটিকে সমাধান করার বিষয়ে ডান ল্যাম্বদা এবং আলফাকে এলোমেলো ভেরিয়েবল হিসাবে বিবেচনা করছি এবং এই পরামিতিগুলির বিতরণ পেতে ক্রস বৈধকরণ পদক্ষেপটি এন বার চালাব। প্রতিটি পূর্বাভাসীর জন্য এইভাবে আমার সংখ্যার সংখ্যা হবে এবং প্রতিটি সহগের জন্য আমার ফলাফল বিতরণ করতে হবে। এটি আমার পরিসীমা পরিসংখ্যানগুলির সাথে আরও সহীকরণযোগ্য ফলাফলগুলি দেবে (যেমন সহগের এসডি)। এটি দেখতে আকর্ষণীয় হবে যে ল্যাম্বদা এবং আলফা এইভাবে কিছু বিতরণকে আনুপাতিকভাবে বেছে নিয়েছিল কিনা, যেহেতু এটি কিছু অনুমানের পরীক্ষার পথ উন্মুক্ত করে দেবে (তবে আমি কোনও পরিসংখ্যানবিদ নই তাই আমার যে জিনিসগুলি করা উচিত তা সম্পর্কে আমার কথা বলা উচিত নয়) পুরোপুরি বুঝতে পারছি না)।

সুতরাং পরিশেষে আমার প্রশ্নটি হল: একবার আপনি ক্রস বৈধকরণ ভিত্তিক আলফা এবং ল্যাম্বডা সহ একটি ইলাস্টিক নেট থেকে ভবিষ্যদ্বাণীকারী এবং সহগগুলি পাবেন, কোনটি এবং কীভাবে আপনি এই ফলাফলগুলি উপস্থাপন করবেন? তাদের কীভাবে আলোচনা করা উচিত? আমরা কী শিখলাম? কোন অনুমান / সাধারণীকরণ আমরা বিভ্রান্তিকর?


আমি মনে করি এটি যথাযথভাবে উত্তর দেওয়ার জন্য অত্যধিক প্রশস্ত / অস্পষ্ট। কিছু ক্ষেত্রে আমি আপনার বিবৃতিগুলি অস্পষ্ট দেখতে পেলাম (উদাহরণস্বরূপ "আপনি কী বোঝাতে চেয়েছেন তবে এটি কৌশল দ্বারা আনা বৈকল্পিক সীমাবদ্ধতাটি কেটে ফেলবে " ") এবং অন্য কয়েকটি ক্ষেত্রে বিভ্রান্ত হয়েছে (যেমন," প্রতিবার যখন আপনি দৌড়ান (উদা।) cv.glmnet () আপনি সর্বদা বিভিন্ন সহগের সাথে ভবিষ্যদ্বাণীদের কিছুটা আলাদা উপসেট নির্বাচন করবেন "- এটি প্রতিবার হয় না এবং এমনকি সাধারণত ঘটে গেলেও এটি বিপর্যয়যুক্ত সিভি সঠিকভাবে করা হয় না))
ইউএসআর 11852 বলেছেন মনিক

একটি প্রেরণা যা আমি দেখতে পেয়েছি ইলাস্টিক নেট এটি পরিবর্তনশীল ক্লাস্টারিংয়ের সাথে সম্পর্কিত (চিড়িয়াখানার ২.৩ বিভাগের মাধ্যমে, হ্যাস্টি ইলাস্টিক নেট পেপার), যা আরও বিস্তারিতভাবে (কিছুটা ভিন্ন পদ্ধতির মাধ্যমে) এখানে প্রসারিত হয়েছে: এনসিবি.এনএলএম.নিহ .gov / pmc / নিবন্ধগুলি / PMC4011669
user795305

উত্তর:


8

এই পদ্ধতিগুলি - লাসো এবং ইলাস্টিক নেট - বৈশিষ্ট্য নির্বাচন এবং পূর্বাভাস উভয়েরই সমস্যা থেকেই জন্মগ্রহণ করেছিল। এই দুটি লেন্সের মাধ্যমেই আমি মনে করি একটি ব্যাখ্যা পাওয়া যাবে।

ম্যাথু গন তার জবাবে সুন্দর করে ব্যাখ্যা করেছেন যে এই দুটি লক্ষ্য স্বতন্ত্র এবং প্রায়শই বিভিন্ন ব্যক্তি গ্রহণ করে। তবে, ভাগ্যক্রমে আমাদের জন্য, যে পদ্ধতিগুলিতে আমরা আগ্রহী সেগুলি উভয় ক্ষেত্রেই ভাল অভিনয় করতে পারে।

বৈশিষ্ট্য নির্বাচন

প্রথমে, বৈশিষ্ট্য নির্বাচন সম্পর্কে কথা বলা যাক। আমাদের প্রথমে লাসোর দৃষ্টিকোণ থেকে স্থিতিস্থাপক জালকে অনুপ্রাণিত করা উচিত। এটি হ্যাস্টি এবং জোউকে উদ্ধৃত করার জন্য , "যদি এমন কোনও ভেরিয়েবলের গ্রুপ থাকে যার মধ্যে জুটিওয়ালা পারস্পরিক সম্পর্ক খুব বেশি থাকে, তবে লাসো গ্রুপ থেকে কেবল একটি ভেরিয়েবল নির্বাচন করে এবং কোনটি নির্বাচিত তা যত্ন করে না।" উদাহরণস্বরূপ, এটি একটি সমস্যা, কারণ এর অর্থ হ'ল আমরা লাসো ব্যবহার করে প্রকৃত সমর্থনের কোনও উপাদান খুঁজে পাওয়ার সম্ভাবনা নেই - কেবলমাত্র এটির সাথে এটি অত্যন্ত সংযুক্ত। (কাগজটিতে উল্লেখ করা হয়েছে যে এটি লার্স পেপারে প্রমাণিত, যা আমি এখনও পড়িনি)) পারস্পরিক সম্পর্কের উপস্থিতিতে সমর্থন পুনরুদ্ধারের অসুবিধাও ওয়াইনরাইটের দ্বারা উল্লেখ করা হয়েছে , যখন সত্য সমর্থন এবং এটি পরিপূরক মধ্যে উচ্চ সম্পর্ক আছে।0.5

এখন, ইলাস্টিক নেট এ l2 জরিমানা এমন বৈশিষ্ট্যগুলিকে উত্সাহিত করে যা গুণাগুণগুলি কেবলমাত্র ক্ষতি এবং l1 জরিমানা দ্বারা সমান আনুমানিক গুণফলের সাথে অবিচ্ছেদ্য হিসাবে বিবেচিত হয়। আমরা ঢিলেঢালাভাবে ঠাহর যে দেখতে পারে সন্তুষ্টি | | = | (a,b)=argmina,b:c=|a|+|b|(a)2+(b)2। এর কারণে, ইলাস্টিক নেটটি এমনটি করে যাতে আমাদের 'দুর্ঘটনাক্রমে' মুছে ফেলার সম্ভাবনা কম থাকে যা সত্য সমর্থনে রয়েছে e এটি হ'ল, আসল সমর্থনটি আনুমানিক সমর্থনের মধ্যে থাকা সম্ভবত বেশি। এটা ভালো! এর অর্থ এই যে আরও ভুয়া আবিষ্কার রয়েছে তবে এটি এমন একটি মূল্য যা বেশিরভাগ লোকেরা দিতে ইচ্ছুক।|a|=|b|

একদিকে যেমন, এটি উল্লেখ করা দরকার যে অত্যন্ত সংযুক্ত বৈশিষ্ট্যগুলি খুব অনুরূপ সহগের অনুমানের ঝোঁক রাখে যাতে আমরা একইরকম প্রতিক্রিয়াকে প্রভাবিত করে এমন আনুমানিক সমর্থনের মধ্যে বৈশিষ্ট্যগুলির গোষ্ঠীগুলি সনাক্ত করতে পারি।

ভবিষ্যদ্বাণী

এখন, আমরা পূর্বাভাসের দিকে এগিয়ে যাই। ম্যাথু গন যেমন উল্লেখ করেছেন, ক্রস বৈধতার মাধ্যমে সুরকরণের পরামিতিগুলি বেছে নেওয়া ন্যূনতম পূর্বাভাস ত্রুটির সাথে একটি মডেল চয়ন করার লক্ষ্য তৈরি করে। যেহেতু লাসো দ্বারা নির্বাচিত যে কোনও মডেল ইলাস্টিক নেট দ্বারা নির্বাচিত হতে পারে ( ), এটি কিছুটা বোঝায় যে ইলাস্টিক নেট এমন একটি মডেল খুঁজে পেতে সক্ষম যা লাসোর চেয়ে আরও ভাল পূর্বাভাস দেয়।α=1

লেডেরার, ইউ, এবং গায়াননোভা বৈশিষ্ট্যগুলি সম্পর্কে কোনও অনুমানের নিচে দেখান যে, লাসো এবং ইলাস্টিক নেট উভয়ই তাদের এল 2 প্রেডিকশন ত্রুটি একই পরিমাণে আবদ্ধ থাকতে পারে। এটি আবশ্যকভাবে সত্য নয় যে তাদের বেঁধে রাখা শক্ত, তবে এটি লক্ষ্য করা আকর্ষণীয় হতে পারে যেহেতু ওরাকল বৈষম্যগুলি পরিসংখ্যানগুলির সাহিত্যের একটি প্রাকৃতিক উপায় হিসাবে অনুমানকারীদের ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্সের পরিমাণ হিসাবে প্রমাণ করে - সম্ভবত বিতরণগুলি এত জটিল! এটাও লক্ষণীয় যে লেডারার (1) (2) এর সাথে পারস্পরিক সম্পর্কযুক্ত বৈশিষ্ট্যগুলির উপস্থিতিতে লাসো পূর্বাভাস সম্পর্কে কিছু কাগজপত্র রয়েছে।

সারসংক্ষেপ

সংক্ষেপে, আগ্রহের সমস্যাগুলি হ'ল আনুমানিক সমর্থন এবং পূর্বাভাসের মধ্যে থাকা সত্য সমর্থন। সমর্থন পুনরুদ্ধারের জন্য, দৃor়ভাবে প্রমাণিত গ্যারান্টি রয়েছে (ওয়েইন রাইটের মাধ্যমে) যে লাসো সত্যিকারের সমর্থন এবং এটির পরিপূরকের মধ্যে স্বল্প সম্পর্কের অনুমানের অধীনে মডেলটিতে থাকার জন্য সঠিক বৈশিষ্ট্যগুলি নির্বাচন করে। যাইহোক, পারস্পরিক সম্পর্কের উপস্থিতিতে, আমরা স্থিতিস্থাপকের জালে ফিরে পড়তে পারি যাতে এটি নির্বাচিত সকলের মধ্যে প্রকৃত সমর্থনের বৈশিষ্ট্যগুলি বেছে নিতে পারে। (নোট করুন যে আমাদের এখানে টিউনিংয়ের প্যারামিটারগুলি সাবধানে নির্বাচন করতে হবে।) এবং, পূর্বাভাসের জন্য যখন আমরা ক্রস বৈধকরণের মাধ্যমে টিউনিং প্যারামিটারটি বেছে নিই তখন এটি স্বজ্ঞাত অর্থে তোলে যে ইলাস্টিক নেটটি লাসোর চেয়ে আরও ভাল সম্পাদন করা উচিত - বিশেষত পারস্পরিক সম্পর্কের উপস্থিতিতে ।

ভবিষ্যদ্বাণী এবং কিছু আনুষ্ঠানিকতা একপাশে রেখে আমরা কী শিখলাম? আমরা সত্য সমর্থন সম্পর্কে শিখেছি।

আস্থা অন্তর

এটি উল্লেখ করার মতো যে লাসোর বৈধ অনুক্রমের ক্ষেত্রে গত 2 বছরে অনেক কিছু পরিবর্তিত হয়েছে। বিশেষত, লি, সূর্য, সূর্য এবং টেলরের কাজ প্রদত্ত মডেলটি নির্বাচিত হওয়ার বিষয়ে শর্তসাপেক্ষ লাসোর সহগের জন্য সঠিক অনুমান সরবরাহ করে। (আসল সহগের জন্য লাসোতে অনুকরণের ফলাফল ওপি-র পোস্টের সময় প্রায় ছিল, এবং লিঙ্কযুক্ত কাগজে সেগুলি সংক্ষিপ্তভাবে বর্ণনা করা হয়েছে))


এটা অনুমান করা কি সঠিক হবে যে নিয়মিত কোভেরেটের অনুমানগুলি আমরা একটি গবেষণা পুনরাবৃত্তি করতে পারে এমনগুলির সাথে সম্ভবত আরও বেশি মিল? এটি, যেমন নিয়মিতকরণের সাহায্যে নমুনা পূর্বাভাস ত্রুটিটি হ্রাস করা যায়, এটি নমুনায় এবং নমুনা অনুমানের বাইরে পার্থক্য হ্রাস করতে সহায়তা করতে পারে?
বাকাবার্গ

1
@ বাকবুর্গ, হ্যাঁ, এটি বলার অর্থ রয়েছে। নিয়ন্ত্রণটি কম বৈকল্পিকের সাথে অনুমানকারী তৈরি করে।
ব্যবহারকারী795305

9

নিয়মিতকরণের পরামিতিগুলি বেছে নিতে ক্রস-বৈধতা ব্যবহার করে আপনি ইলাস্টিক, রিজ বা লাসো দিয়ে যা করছেন তা পূর্বাভাসকে অনুকূল করতে কিছু রৈখিক ফর্ম ফিট করে । এই বিশেষ নিয়মিতকরণের পরামিতিগুলি কেন? কারণ তারা নতুন ডেটাতে ভবিষ্যদ্বাণী করার জন্য সবচেয়ে ভাল কাজ করে। শূন্যের দিকে গুণমানের প্রাক্কলন সঙ্কুচিত করা, পক্ষপাতিত্ব প্রবর্তন (যেমন রিজ বা লাসো উভয় ক্ষেত্রেই করা হয়) অত্যধিক মান কমাতে পারে এবং ভিন্নতা সঙ্কুচিত করতে পারে । নতুন ডেটাতে ভবিষ্যদ্বাণীকে অনুকূলিত করার জন্য আপনার পেনাল্টি প্যারামিটারগুলি সঠিক ব্যালেন্সের উপর আঘাত হানবে The

ডেটা উত্পাদন প্রক্রিয়াটি কল্পনা করুন:

yi=f(xi,β)+ϵi

β^βy^jj

আপনার ফলাফলগুলি কীভাবে উপস্থাপন করা উচিত? এটি আপনার অন্তর্নিহিত গবেষণা প্রশ্নটি কী তা নির্ভর করে! আপনি ধাপ পেছনে করতে চান এবং সম্পর্কে গভীরভাবে মনে হতে পারে কি প্রশ্নের উত্তর দিতে চেষ্টা করছেন। আপনার শ্রোতা কি সম্পর্কে যত্নশীল? আপনি কি করতে চেষ্টা করছেন?

  • প্রেডিক্সন?
  • সহগের অনুমান?
  • পরিবর্তনশীল নির্বাচন?

দুই ধরণের গবেষণা প্রশ্নের মধ্যে পার্থক্য করা গুরুত্বপূর্ণ:

  1. y^j
  2. β^

y^β^

  • y^kn
  • বিভিন্ন ভাঁজগুলিতে প্রশিক্ষিত অ্যালগরিদমের উল্লেখযোগ্যভাবে পৃথক প্যারামিটারের অনুমান থাকতে পারে।
  • মেশিন লার্নিংয়ে জোর দেওয়া হয় ভবিষ্যদ্বাণীতে, ধারাবাহিকভাবে কার্যকারণের প্রভাবগুলি অনুমান করে না। (এটি একনোমেট্রিক্সের সাথে বিপরীত যেখানে সাধারণত মূল সমস্যাটি ধারাবাহিকভাবে কার্যকারণের প্রভাবগুলি অনুমান করে)। ভবিষ্যদ্বাণী, কিছু কার্যকরী ফর্মের অনুমান, কারণ নির্ণয়ের অনুমানের চেয়ে আলাদা। পুলিশ স্তরগুলি অপরাধ স্তরের একটি ভাল পূর্বাভাসক হতে পারে এবং এর অর্থ এই নয় যে পুলিশ অপরাধের কারণ করে।

এবং আপনি যেমন সনাক্ত করেছেন, কিছু মেশিন লার্নিং প্যারামিটারাইজেশন কেন কাজ করে তা ব্যাখ্যায় সমস্যা হতে পারে । আপনার শ্রোতারা কি ভবিষ্যদ্বাণীপূর্ণ কালো বাক্সে আরামদায়ক? বা ভবিষ্যদ্বাণী কীভাবে আপনার প্রশ্নের কেন্দ্রীয় কাজ করে?

লাসো এবং রিজ: এগুলি ব্যবহারের সর্বোত্তম কারণ

  • y^

  • অতিরিক্ত চাপ প্রতিরোধের জন্য আপনি নিয়মিতকরণ ব্যবহার করতে পারেন। যেমন। বহুবর্ষীয় কার্ভ ফিটিংয়ের প্রসঙ্গে রিজ রিগ্রেশন বেশ সুন্দরভাবে কাজ করতে পারে।

  • @ বেঞ্জামিন তার উত্তরে উল্লেখ করেছেন যে লাসো পরিবর্তনশীল নির্বাচনের জন্যও ব্যবহার করা যেতে পারে। নির্দিষ্ট নিয়মিততার শর্তে লাসো ধারাবাহিকভাবে উপযুক্ত মডেলটি নির্বাচন করবে: অপ্রাসঙ্গিক সহগগুলি শূন্যে সেট করা হবে।

L1L2

আমি যে বিষয়টি ফিরে আসছি তা হ'ল আপনি যে বিষয়টি বের করার চেষ্টা করছেন তার আরও কিছু প্রসঙ্গ ছাড়াই চলমান রিজ রিগ্রেশন, লাসো বা ইলাস্টিক নেট এর ফলাফলগুলি ব্যাখ্যা করা বেশ কঠিন!


অধ্যাপক সেন্দিল মোল্লাইনাথন জানুয়ারী, ২০১ AF এএফএ সভায় মেশিন লার্নিংয়ের বিষয়ে একটি বক্তব্য দিয়েছিলেন যা এই পোস্টের কিছু অংশকে অনুপ্রাণিত করেছিল।


3
এই ধরণের চিন্তাভাবনা আমার মতে ত্রুটিযুক্ত। এটি এই ধারণার উপর ভিত্তি করে তৈরি করা হয় যে অন্তর্নিহিত ঘটনাটি কোনও সাধারণ দ্বারা উপলব্ধি করা যথেষ্ট সহজ। হাই ডাইমেনশনাল মডেলগুলি বেশিরভাগ সময় মানুষের দ্বারা উপলব্ধি করা জটিল to তবে এগুলি বৃহত আকারের কৃত্রিম বুদ্ধিমত্তার জন্য খুব উপযুক্ত। বাস্তবে সর্বোত্তম ভবিষ্যদ্বাণীকারী ঘটনাটির সর্বোত্তম ব্যাখ্যাই, আপনি এটি বুঝতে পারছেন বা না পারেন।
ক্যাগডাস ওজজেঙ্ক

2
@ ক্যাগডাস ওজেনসিঙ্ক আমার মনে হয় এটি একটি কার্যকর পয়েন্ট যে কিছু ফাংশন হ'ল জটিল, মানুষের কাছে বর্ণনা করা কঠিন তবে মেশিনগুলির দ্বারা বোধগম্য এবং শেখা যায় (উদাহরণস্বরূপ দাবা বোর্ডের মূল্যায়ন)। এই পরিস্থিতিতে আপনার হাত বাড়িয়ে দেওয়া আরও ভাল, মেশিন কী শিখেছে তা ব্যাখ্যা করার চেষ্টাও করবেন না। অন্যদিকে ওষুধ পরীক্ষার মতো পরিস্থিতি রয়েছে যেখানে কার্যকারণ প্রভাব রয়েছে, কিছু গড় কার্যকারিতা যা আপনি প্রচুর বিভ্রান্তি, নির্বাচনের প্রভাব ইত্যাদির উপস্থিতিতে অনুমান করার চেষ্টা করছেন ... এগুলি কিছুটা বিবেচনায় বিভিন্ন সমস্যা এবং প্রয়োজন বিভিন্ন কৌশল।
ম্যাথু গুন

1
y^
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.