আমরা যদি কেবলমাত্র মডেলিংয়ে আগ্রহী, পূর্বাভাস না দিয়ে নিয়মিতকরণ কার্যকর হতে পারে?

Question

আমরা যদি কেবলমাত্র পূর্বাভাস বা ভবিষ্যদ্বাণীতে না হয়ে মডেল প্যারামিটারগুলি অনুমান করতে (এবং ব্যাখ্যা করতে) আগ্রহী তবেই নিয়মিতকরণ কার্যকর হতে পারে?

আমি লক্ষ্য করি যে যদি আপনার লক্ষ্যটি নতুন ডেটাতে ভাল পূর্বাভাস দেওয়া হয় তবে নিয়মিতকরণ / ক্রস-বৈধকরণ কীভাবে চূড়ান্ত কার্যকর। তবে আপনি যদি traditionalতিহ্যবাহী অর্থনীতি করছেন এবং আপনার যত্ন নেওয়া সমস্তই ? অনুমান করছে ? ক্রস-বৈধকরণ কি সেই প্রসঙ্গে কার্যকর হতে পারে? আমি যে ধারণাগত অসুবিধার সাথে লড়াই করছি তা হ'ল আমরা পরীক্ষার তথ্যগুলিতে গণনা করতে পারি তবে আমরা কখনই ম্যাথ্যাক্যাল কারণ সত্য কখনও সংজ্ঞা অনুসারে হয় না observed (এই ধারণাটি গ্রহণ করুন যে এমনকি সত্য- , অর্থাত আমরা যে মডেলগুলি থেকে ডেটা তৈরি হয়েছিল তার পরিবারকে আমরা জানি))এল ( ওয়াই , ওয়াই ) এল ( β , β ) β $\beta$$\mathcal{L}\left(Y, \hat{Y}\right)$$\mathcal{L}\left(\beta, \hat{\beta}\right)$$\beta$$\beta$

মনে করুন আপনার ক্ষতি । আপনি একটি পক্ষপাতিত্ব-বৈকল্পিক ব্যবসায়ের মুখোমুখি, তাই না? সুতরাং, তত্ত্বগতভাবে, আপনি কিছু নিয়মিতকরণ করা থেকে ভাল হতে পারে। তবে কীভাবে আপনি আপনার নিয়মিতকরণের পরামিতিটি নির্বাচন করতে পারেন?$\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

সহগ \ বিটা \ সমতুল্য (\ বিটা_1, \ বিটা_2, \ এলডটস, \ বিটা_ কে) সহ লিনিয়ার রিগ্রেশন মডেলের একটি সাধারণ সংখ্যাসূচক উদাহরণটি দেখে আমি খুশি হব $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$, যেখানে গবেষকের ক্ষতির ফাংশন যেমন $\lVert \beta - \hat{\beta} \rVert$ , বা এমনকি $(\beta_1 - \hat{\beta}_1)^2$ । কীভাবে, বাস্তবে, কেউ উদাহরণগুলিতে প্রত্যাশিত ক্ষতির উন্নতি করতে ক্রস-বৈধতা ব্যবহার করতে পারে?

---

সম্পাদনা : ডি জনসন আমাকে https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf- এ নির্দেশ করেছেন , যা এই প্রশ্নের সাথে সম্পর্কিত। লেখকরা তা লিখেন

মেশিন লার্নিং কৌশলগুলি ... \ টুপি {ওয়াই pred পূর্বাভাসের জন্য একটি শৃঙ্খলাবদ্ধ উপায় সরবরাহ করে $\hat{Y}$যা (i) পক্ষপাত-বৈকল্পিক বাণিজ্য কীভাবে করা যায় তা সিদ্ধান্ত নেওয়ার জন্য ডেটা নিজেই ব্যবহার করে এবং (ii) খুব সমৃদ্ধ সংস্থার উপর অনুসন্ধানের অনুমতি দেয় ভেরিয়েবল এবং ক্রিয়ামূলক ফর্ম। কিন্তু সবকিছু ব্যয়ে আসে: এক সবসময় মনে রাখা উচিত যে, কারণ তারা জন্য অপেক্ষায় হয় $\hat{Y}$ তারা না (অন্যান্য অনেক অনুমানের ছাড়া) খুব দরকারী গ্যারান্টী জন্য দিতে $\hat{\beta}$ ।

আরেকটি প্রাসঙ্গিক কাগজ, আবার ডি জনসনকে ধন্যবাদ: http://arxiv.org/pdf/1504.01132v3.pdf । এই কাগজটি উপরে যে প্রশ্নটি সহ আমি লড়াই করেছিলাম তার ঠিকানা দেয়:

একটি ... কার্যকারিতা অনুক্রমের সমস্যার বাইরে অফ শেল্ফ অফ রিগ্রেশন ট্রি হিসাবে মেশিন লার্নিং পদ্ধতির প্রয়োগের মৌলিক চ্যালেঞ্জ হ'ল ক্রস-বৈধতার ভিত্তিতে নিয়মিতকরণের পদ্ধতিগুলি সাধারণত "স্থল সত্য" পর্যবেক্ষণের উপর নির্ভর করে যা প্রকৃত ফলাফলগুলি একটি ক্রস-বৈধতা নমুনায়। তবে, যদি আমাদের লক্ষ্য চিকিত্সার প্রভাবগুলির গড় স্কোয়ার ত্রুটিটি হ্রাস করা হয়, তবে আমরা [11] "কার্যকারিক অনুক্রমের মৌলিক সমস্যা" বলে অভিহিত করেছি: কার্যকারিতা কোনও পৃথক ইউনিটের জন্য পরিলক্ষিত হয় না, এবং তাই আমরা সরাসরি করি না একটি স্থল সত্য আছে। আমরা চিকিত্সার কার্যকারণ কার্যকারণের গড়-স্কোয়ার ত্রুটির পক্ষপাতহীন প্রাক্কলন তৈরির জন্য পদ্ধতির প্রস্তাবের মাধ্যমে এটিকে সম্বোধন করি।

Comments

ডেটা মাইনিং এবং মেশিন লার্নিং টুলকিটগুলির মধ্যে ক্রস-বৈধতা কেবল একটি পদ্ধতি। এমএল অর্থনীতিতে ক্রমবর্ধমান ব্যবহার দেখতে পাচ্ছে - স্ট্যানফোর্ডের সুসান অ্যাথির ওয়েবসাইট দেখুন (তিনি এমএল কৌশলগুলির অর্থনীতির সংহতকরণে আগ্রহী) বা এই কাগজ প্রেডিকশন পলিসি সমস্যা ক্লিনবার্গ, এট আল। এর একটি নিরীক্ষিত সংস্করণে এখানে দেখুন: সিএস। cornell.edu/home/kleinber/aer15-prediction.pdf

— মাইক হান্টার

অনুগ্রহ করে, ভাবেন, বিযুক্ত করুন: অনেকের কাছে এমএল মেশিন শেখার পরামর্শ দেয় এবং আরও অনেকের পক্ষে সর্বাধিক সম্ভাবনার পরামর্শ দেয়। (সংজ্ঞা: আপনি বেড়া যদি এমএল স্বয়ংক্রিয়ভাবে মেশিন লার্নিং হিসাবে আপনি নিজেই অনুবাদ করে এর মেশিন লার্নিং পাশ হয়।)

— নিক কক্সবাজার

@ আকসাল আমার অভিজ্ঞতা হ'ল traditionalতিহ্যবাহী একনোমেট্রিক্স যেমন এটি আন্ডারগ্র্যাড এবং গ্রেড উভয় শিক্ষার্থীদেরই শেখানো হয়, ক্রস-বৈধকরণের জন্য মূলত শূন্য মনোযোগ দেয়। হায়াশির দিকে তাকান, এটি একটি ধ্রুপদী পাঠ্যপুস্তক। অবশ্যই, সম্ভবত ক্রস-বৈধকরণ এবং পক্ষপাত-বৈকল্পিক ট্রেড অফ নির্দিষ্ট করে দেওয়া হয়েছে একটি কোর্সে বিশেষ করে পূর্বাভাসের উপর, তবে মূল কোর্সে নয় যা সমস্ত শিক্ষার্থী দিয়ে শুরু করে। এটি কি আপনার পক্ষে ঠিক মনে হচ্ছে?

— অ্যাড্রিয়ান

@ অ্যাড্রিয়ান আমি দেখছি লোকেরা এই প্রশ্নটিকে খুব বিস্তৃত হিসাবে বন্ধ করতে ভোট দিচ্ছে। এটি এমনটি হতে পারে তবে আমি দেখতে পাচ্ছি আপনি মূলত জিজ্ঞাসা করছেন: "আমরা কী কেবলমাত্র মডেলিংয়ে আগ্রহী, পূর্বাভাসের ক্ষেত্রে আগ্রহী না হলে সিভি সহায়ক হতে পারে?" - যদি আমি আপনাকে সঠিকভাবে বুঝতে পারি তবে আপনার প্রশ্নটি সহজেই সম্পাদিত ও সরল করা যেতে পারে, সুতরাং এটি পরিষ্কার এবং অবশ্যই খুব বেশি বিস্তৃত নয় (এমনকি আকর্ষণীয়ও!)।

— টিম

@ অ্যাড্রিয়ান তাই এটি খুব আকর্ষণীয় প্রশ্ন! আমি আশঙ্কা করছি আপনি এটিকে অতি জটিল করে তুলেছেন এবং একনোমেট্রিক্সের রেফারেন্সটি এখানে গুরুত্বপূর্ণ নয় (কারণ এটি অন্যান্য ক্ষেত্রগুলির ক্ষেত্রে যেখানে পরিসংখ্যানগত পদ্ধতি ব্যবহার করা হয়)। আপনার প্রশ্নটি সহজ করার জন্য আমি আপনাকে সম্পাদনা করতে উত্সাহিত করব।

— টিম

Answer 1

হ্যাঁ, আমরা যখন পক্ষপাতদুষ্ট কম ভেরিয়েন্স অনুমান করতে চাই। আমি এখানে বিশেষত গুং এর পোস্ট পছন্দ করি সংকোচন পদ্ধতি কোন সমস্যা সমাধান করে? অনুগ্রহ করে আমাকে এখানে গুং এর চিত্র পেস্ট করার অনুমতি দিন ...

আপনি যদি প্লট গাং তৈরির পরীক্ষা করেন তবে আমাদের কেন নিয়মিতকরণ / সঙ্কুচিত করা দরকার তা আপনি পরিষ্কার হয়ে যাবেন। প্রথমে, আমি অদ্ভুত বোধ করি কেন আমাদের পক্ষপাতদুষ্ট অনুমানের প্রয়োজন? তবে এই চিত্রটি দেখে আমি বুঝতে পেরেছি যে কম বৈকল্পিকের মডেলটির অনেকগুলি সুবিধা রয়েছে: উদাহরণস্বরূপ, এটি উত্পাদন ব্যবহারে আরও "স্থিতিশীল"।

Comments

হ্যাঁ, তবে আমরা কীভাবে নিয়মিতকরণের পরামিতিটি নির্বাচন করব? লক্ষ্যটি যখন পূর্বাভাস ত্রুটি হ্রাস করতে হয়, আমরা একটি বৈধতা সেট ব্যবহার করতে পারি। আমরা যদি সত্যিকারের মডেল পরামিতিগুলি পর্যবেক্ষণ না করি তবে আমরা কীভাবে কোনও বৈধতা সেট ব্যবহার করতে পারি?

— অ্যাড্রিয়ান

আমার প্রশ্নের নীচে "কার্যকারণ সূত্রের মৌলিক সমস্যা" সম্পর্কে উদ্ধৃতিটি দেখুন।

— অ্যাড্রিয়ান

Answer 2

যদি আমরা কেবলমাত্র মডেলিংয়ে আগ্রহী (যেমন প্যারামিটারগুলি অনুমান করতে পারি), পূর্বাভাসের ক্ষেত্রে নয় তবে ক্রস-বৈধকরণ কী সহায়ক হতে পারে?

হ্যা পারি. উদাহরণস্বরূপ, অন্য দিন আমি সিদ্ধান্ত গাছগুলির মাধ্যমে পরামিতি গুরুত্ব অনুমান ব্যবহার করছিলাম। যতবার আমি একটি গাছ তৈরি করি, আমি ক্রস-বৈধকরণের ত্রুটিটি পরীক্ষা করি। আমি যতটা পারি ত্রুটি হ্রাস করার চেষ্টা করি, তারপরে আমি পরামিতিগুলির গুরুত্ব অনুমানের পরবর্তী ধাপে যাব। এটা সম্ভব যে আপনি তৈরি করা প্রথম গাছটি যদি খুব খারাপ হয় এবং আপনি ত্রুটিটি পরীক্ষা না করেন তবে আপনার কাছে কম সঠিক (ভুল না হলে) উত্তর থাকবে।

আমার বিশ্বাসের মূল কারণটি প্রতিটি কৌশলটিতে রয়েছে এমন অনেকগুলি নিয়ন্ত্রণ ভেরিয়েবল due এমনকি একটি নিয়ন্ত্রণ ভেরিয়েবলের সামান্য পরিবর্তন একটি পৃথক ফলাফল সরবরাহ করবে।

ক্রস-বৈধতা ত্রুটি পরীক্ষা করার পরে কীভাবে আপনার মডেলটি উন্নত করবেন? ঠিক আছে, এটি আপনার মডেলের উপর নির্ভর করে। আশা করি, কয়েকবার চেষ্টা করার পরে আপনি সবচেয়ে গুরুত্বপূর্ণ কন্ট্রোল ভেরিয়েবল সম্পর্কে কিছু ধারণা পাবেন এবং একটি নিম্ন ত্রুটি সন্ধান করার জন্য এগুলি পরিচালনা করতে পারবেন।