রিজ রিগ্রেশন ব্যবহার করার সময় আমি সহগের মানক ত্রুটিগুলি কীভাবে অনুমান করতে পারি?

Question

আমি অত্যন্ত মাল্টিকোল্লায়নার ডেটাতে রিজ রিগ্রেশন ব্যবহার করছি। ওএলএস ব্যবহার করে আমি বহুগুণরেখার কারণে সহগের উপর বড় স্ট্যান্ডার্ড ত্রুটি পেয়েছি। আমি জানি রিজ রিগ্রেশন এই সমস্যাটি মোকাবেলা করার একটি উপায়, তবে আমি যে রিজ রিগ্রেশনটি দেখেছি তার সমস্ত বাস্তবায়নে সহগের জন্য কোনও মানক ত্রুটি নেই। আমি নির্দিষ্ট কোন সহগের স্ট্যান্ডার্ড ত্রুটি হ্রাস পাচ্ছে তা দেখে রিজ রিগ্রেশন কতটা সহায়তা করছে তা অনুমান করার কিছু উপায় চাই would রিজ রিগ্রেশন এগুলি অনুমান করার কোনও উপায় আছে?

Answer 1

আমি মনে করি বুস্ট্র্যাপ মজবুত এসইগুলি অর্জনের সেরা বিকল্প। এটি সঙ্কুচিত পদ্ধতিগুলি ব্যবহার করে কিছু প্রয়োগকৃত কাজের ক্ষেত্রে করা হয়েছিল, উদাহরণস্বরূপ, দন্ডিত দণ্ডিত লজিস্টিক রিগ্রেশন পদ্ধতির (বিএমসি প্রসিডিংস 2009) ব্যবহার করে উত্তর আমেরিকান রিউম্যাটয়েড আর্থ্রাইটিস কনসোর্টিয়াম ডেটার বিশ্লেষণ । দন্ডযুক্ত মডেল, পেনালাইজড রিগ্রেশন, স্ট্যান্ডার্ড ত্রুটি, এবং বায়সিয়ান লাসোস (বায়সিয়ান অ্যানালাইসিস 2010 5 (2)) এর সাথে এসই গণনায় কেসেলা থেকে একটি দুর্দান্ত কাগজও রয়েছে । তবে তারা লাসো এবং ইলাস্টিকনেট শাস্তির সাথে আরও বেশি উদ্বিগ্ন ।

আমি সবসময় রিজ রিগ্রেশনকে স্ট্যান্ডার্ড ওএলএসের চেয়ে আরও ভাল পূর্বাভাস পাওয়ার উপায় হিসাবে ভাবতাম, যেখানে মডেলটি সাধারণত স্বচ্ছ নয়। পরিবর্তনশীল নির্বাচনের জন্য, Lasso বা elasticnet মানদণ্ড আরো উপযুক্ত, কিন্তু তারপর, এটা একটি বুটস্ট্র্যাপ পদ্ধতি প্রয়োগ করতে (যেহেতু নির্বাচিত ভেরিয়েবল এক অন্য নমুনা থেকে পরিবর্তন হবে কঠিন, এবং এমনকি ভেতরের মধ্যে নিখুত ব্যবহার ধা লুপ ℓ 1 / ℓ 2 পরামিতি); আপনি সর্বদা সমস্ত পরিবর্তনশীল বিবেচনা না করায় এটি রিজ রিগ্রেশন সম্পর্কিত নয়।$k$$\ell_1$$\ell_2$

এই প্যাকেজগুলি সম্পর্কে এই ধারণাটি দেওয়ার বিষয়ে আমার কোনও ধারণা নেই। এটি গ্ল্যামনেট প্যাকেজে উপলব্ধ বলে মনে হচ্ছে না ( জেএসএসে ফ্রিডম্যানের কাগজটি দেখুন, স্থানাঙ্কা বংশোদ্ভূত মাধ্যমে জেনারাইজড লিনিয়ার মডেলগুলির নিয়মিতকরণের পথগুলি )। তবে দণ্ডিত প্যাকেজটি রচনা করেছেন জেলি গোম্যানও এই বিষয়টি নিয়ে আলোচনা করেন। ওয়েবে মূল পিডিএফটি খুঁজে পাচ্ছি না, তাই আমি কেবল তাঁর কথার উদ্ধৃতি দিয়েছি:

রিগ্রেশন সহগ বা অন্যান্য আনুমানিক পরিমাণের স্ট্যান্ডার্ড ত্রুটি জিজ্ঞাসা করা খুব স্বাভাবিক প্রশ্ন। নীতিগতভাবে এই জাতীয় স্ট্যান্ডার্ড ত্রুটিগুলি সহজেই গণনা করা যায়, যেমন বুটস্ট্র্যাপ ব্যবহার করে।

তবুও, এই প্যাকেজটি ইচ্ছাকৃতভাবে তাদের সরবরাহ করে না। এর কারণ হ'ল দণ্ডিত অনুমান পদ্ধতি থেকে উত্থাপিত দৃ strongly় পক্ষপাতমূলক অনুমানের জন্য স্ট্যান্ডার্ড ত্রুটিগুলি খুব অর্থবহ নয়। পেনালাইজড অনুমান একটি প্রক্রিয়া যা যথেষ্ট পরিমাণে পক্ষপাতিত্ব প্রবর্তন করে অনুমানের বৈচিত্রকে হ্রাস করে। প্রতিটি অনুমানকারকের পক্ষপাত তাই তার গড় স্কোয়ার ত্রুটির একটি প্রধান উপাদান, যেখানে এর প্রকরণটি কেবলমাত্র একটি ছোট অংশকে অবদান রাখতে পারে।

দুর্ভাগ্যক্রমে, দণ্ডিত রিগ্রেশনের বেশিরভাগ প্রয়োগগুলিতে পক্ষপাতের যথেষ্ট সঠিক অনুমান পাওয়া অসম্ভব। যে কোনও বুটস্ট্র্যাপ-ভিত্তিক ক্যালকুলেশনগুলি কেবলমাত্র অনুমানের বৈচিত্রের একটি মূল্যায়ন দিতে পারে। পক্ষপাতিত্বের নির্ভরযোগ্য অনুমান কেবল তখনই পাওয়া যায় যখন নির্ভরযোগ্য পক্ষপাতিত্বমূলক অনুমান পাওয়া যায় যা সাধারণত দণ্ডিত অনুমান ব্যবহৃত হয় এমন পরিস্থিতিতে হয় না।

দণ্ডিত অনুমানের একটি স্ট্যান্ডার্ড ত্রুটি হিসাবে প্রতিবেদন করা গল্পটির কেবলমাত্র অংশ বলে। এটি পক্ষপাতের কারণে সৃষ্ট অসম্পূর্ণতাকে সম্পূর্ণ উপেক্ষা করে দুর্দান্ত নির্ভুলতার একটি ভুল ধারণা দিতে পারে। আত্মবিশ্বাসের বিবৃতি দেওয়া অবশ্যই ভুল, যা কেবলমাত্র অনুমানের বৈচিত্রের মূল্যায়নের উপর ভিত্তি করে যেমন বুটস্ট্র্যাপ ভিত্তিক আত্মবিশ্বাসের অন্তরগুলি করে।

Comments

এই উদ্ধৃতি সরবরাহ করার জন্য ধন্যবাদ। মূল উদ্ধৃতিটি 18 পৃষ্ঠায় পাওয়া যাবে

— ফ্রান্সিসকো আরসিও

Answer 2

ধরে নিই যে ডেটা উত্পন্ন করার প্রক্রিয়াটি ওএলএসের পিছনে স্ট্যান্ডার্ড অনুমানগুলি অনুসরণ করে রিজ রিগ্রেশনটির জন্য স্ট্যান্ডার্ড ত্রুটিগুলি এর দ্বারা দেওয়া হয়েছে:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

উপরের স্বরলিপিটি রিজ রিগ্রেশনটির জন্য উইকির স্বরলিপি অনুসরণ করে । বিশেষ করে,

$A$

$\sigma^2$

$\Gamma$

Comments

$A^T A$$A$

Answer 3

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$ইন্টিগ্রাল এবং অন্যান্য বিপরীত সমস্যা। "বিজ্ঞানের একটি বিপরীতমুখী সমস্যা হ'ল পর্যবেক্ষণগুলির একটি সেট থেকে গণনা করার প্রক্রিয়া যা তাদের উত্পাদন করে: উদাহরণস্বরূপ, কম্পিউটার টমোগ্রাফিতে একটি চিত্র গণনা করা, শব্দাবলীতে উত্স পুনর্গঠন করা বা এর মাধ্যাকর্ষণ পরিমাপ থেকে পৃথিবীর ঘনত্ব গণনা করা ulating ক্ষেত্র। এখানে "এসপিএসএসের পরিপূরক কোড রয়েছে যা সমস্ত পরামিতিগুলির স্ট্যান্ডার্ড বিচ্যুতি দেয় এবং অতিরিক্ত পরামিতিগুলি এই কাগজের পরিশিষ্টের মতো ত্রুটি প্রচারের মাধ্যমে ব্যবহার করা যেতে পারে ।

টিখোনভ নিয়মিতকরণ সম্পর্কে সাধারণত যেটি ভুল বোঝাবুঝি হয় তা হ'ল ধুমপানের পরিমাণটি বক্ররেখা ফিটিংয়ের সাথে খুব কমই হয়, স্বার্থের পরামিতিগুলির ত্রুটি হ্রাস করতে স্মুথিং ফ্যাক্টরটি ব্যবহার করা উচিত। কিছু বৈধ বিপরীত সমস্যা প্রসঙ্গে সঠিকভাবে রিজ রিগ্রেশনকে ব্যবহার করার জন্য আপনি যে নির্দিষ্ট সমস্যাটি সমাধান করার চেষ্টা করছেন সে সম্পর্কে আপনাকে আরও অনেক কিছু ব্যাখ্যা করতে হবে, এবং স্মুথিং ফ্যাক্টরগুলির নির্বাচন সম্পর্কিত অনেকগুলি কাগজপত্র, এবং তিকনভ নিয়মিতকরণের প্রকাশিত প্রচুর ব্যবহারগুলি হ'ল কিছুটা হিউরিস্টিক।

তিখোনভ নিয়মিতকরণ হ'ল অনেকের মধ্যে কেবল একটি বিপরীত সমস্যার চিকিত্সা। বিপরীতমুখী সমস্যা জার্নালের লিঙ্কটি অনুসরণ করুন ।