লিনিয়ার মডেল হেটেরোসেসডাস্টিটি

আমার কাছে নিম্নলিখিত রৈখিক মডেল রয়েছে:

লিনিয়ার মডেল অবশিষ্টাংশ পর্যবেক্ষণ বিতরণ

হিটারোসেসডাস্টিকটির অবশিষ্টাংশগুলিকে সম্বোধন করার জন্য আমি নির্ভরশীল ভেরিয়েবলের জন্য হিসাবে একটি লগ রূপান্তর প্রয়োগ করার চেষ্টা করেছি কিন্তু আমি এখনও অবশিষ্ট পাখির উপর একই ফ্যানের প্রভাব দেখতে পাচ্ছি। ডিভি মানগুলি তুলনামূলকভাবে ছোট তাই লগ নেওয়ার আগে +1 ধ্রুবক সংযোজন সম্ভবত এই ক্ষেত্রে উপযুক্ত নয়। $\log(Y + 1)$

> summary(Y)
Min.   :-0.0005647  
1st Qu.: 0.0001066  
Median : 0.0003060  
Mean   : 0.0004617  
3rd Qu.: 0.0006333  
Max.   : 0.0105730  
NA's   :30.0000000

ভবিষ্যদ্বাণী ত্রুটি এবং বৈকল্পিক উন্নত করতে আমি কীভাবে ভেরিয়েবলগুলিকে রূপান্তর করতে পারি, বিশেষত সঠিকভাবে সঠিক মানযুক্ত মানগুলির জন্য?

— রবার্ট কুব্রিক
সূত্র

উত্তর:

তোমার লক্ষ্য কি? আমরা জানি যে হেটেরোস্কেস্টাস্টিটি আমাদের গুণাগুণ অনুমানকে পক্ষপাত করে না; এটি কেবল আমাদের মানক ত্রুটিগুলি ভুল করে। অতএব, আপনি যদি কেবলমাত্র মডেলের ফিট সম্পর্কেই চিন্তা করেন তবে হিটারোস্কেস্টাস্টিটি কোনও বিষয় নয়।

আপনি যদি ওজনযুক্ত ন্যূনতম স্কোয়ার ব্যবহার করেন তবে আপনি আরও দক্ষ মডেল পেতে পারেন ( অর্থাত্ ছোট স্ট্যান্ডার্ড ত্রুটিযুক্ত একটি)। এই ক্ষেত্রে, আপনাকে সেই পর্যবেক্ষণ-নির্দিষ্ট বৈকল্পিকের বিপরীত দ্বারা প্রতিটি পর্যবেক্ষণ এবং ওজন প্রতিটি পর্যবেক্ষণের জন্য তারতম্য অনুমান করতে হবে ( weightsযুক্তির ক্ষেত্রে lm)। এই অনুমান পদ্ধতি আপনার অনুমান পরিবর্তন করে।

বিকল্পভাবে, আপনার অনুমানগুলি পরিবর্তন না করে ভিন্ন ভিন্ন সংশোধনের মানক ত্রুটিগুলি সংশোধন করতে আপনি শক্তিশালী স্ট্যান্ডার্ড ত্রুটিগুলি ব্যবহার করতে পারেন। একটি Rঅ্যাপ্লিকেশন জন্য, প্যাকেজ দেখুন sandwich।

লিটার ট্রান্সফর্মেশনটি হিটারোস্কেস্টাস্টিটির জন্য সংশোধন করার জন্য একটি ভাল পদ্ধতির হতে পারে তবে কেবলমাত্র যদি আপনার সমস্ত মান ধনাত্মক হয় এবং নতুন মডেলটি আপনাকে জিজ্ঞাসা করা প্রশ্নটির তুলনায় যুক্তিসঙ্গত ব্যাখ্যা প্রদান করে।

— রাতের পাহারাদার
সূত্র

আমার প্রাথমিক লক্ষ্যটি ত্রুটিগুলি হ্রাস করা। আমাকে ওজনযুক্ত ন্যূনতম স্কোয়ারগুলিতে সন্ধান করতে হবে তবে আমি এই ধারণাটির মধ্যে ছিলাম যে ডিভি রুপান্তরটি সঠিক পদক্ষেপ ছিল, উচ্চতর মানিত মানগুলির জন্য কীভাবে নিয়মিতভাবে অবশিষ্টাংশের পরিমাণ বৃদ্ধি হয় তা দেওয়া হয়।

— রবার্ট কুব্রিক

"ত্রুটিগুলি হ্রাস" এর অর্থ কী? গড় ত্রুটি 0 হয় এমনকি আপনার প্লটটি অনুসন্ধান করা, আপনার যে কোনও উইন্ডোতে বেছে নেওয়া, গড় 0 হয়

— চার্লি

আমি বলতে চাইছি মডেলের ভবিষ্যদ্বাণীটি উন্নত করা, এটি সামগ্রিক পরম ত্রুটি এবং ত্রুটির বৈচিত্রকে হ্রাস করে, বিশেষত উচ্চতর মানযুক্ত মানগুলির জন্য।

— রবার্ট কুব্রিক

মনে করুন যে আপনি এমনভাবে রূপান্তর করতে পারেন যা ভিন্ন ভিন্নতা হ্রাস করে। আপনি যদি পূর্বাভাস দিতে চান তবে আপনাকে হেটেরোস্কেস্টাস্টিটির সমস্যাটি ফিরিয়ে আনতে হবে এবং সেই রূপান্তরটির বিপরীতটি প্রয়োগ করতে হবে। যদি সব আপনার পছন্দের কোফিসিয়েন্টস হয় রূপান্তরের জরিমানা, কিন্তু আপনি ভবিষ্যদ্বাণী করা করার চেষ্টা করছেন যদি আপনাকে সাহায্য করার জন্য যাচ্ছে না ।

y

$y$

y

$y$

y

$y$

— চার্লি

আমি অনুমান করছি যে আপনি রূপান্তরিত ভবিষ্যদ্বাণী করতে চান না , তাই না? কার্যকরীভাবে, আপনার রূপান্তর মধ্যে দূরত্ব সঙ্কুচিত করতে হবে আপনার মূল স্কেলে এর। রূপান্তরিত স্কেলগুলিতে আপনি পূর্বাভাস অন্তরগুলি তৈরি করেন যা রূপান্তরিত মানগুলির সমান প্রস্থ থাকে তবে আপনি যখন রূপান্তরটি পূর্বাবস্থায় ফিরেন, তখন পূর্বাভাস অন্তরগুলি মূল স্কেলে প্রসারিত হয় ।

y

$y$

y

$y$

y

$y$

y

$y$

— চার্লি

আপনি বক্স-কক্স রূপান্তর চেষ্টা করতে চান । এটি একটি পাওয়ার ট্রান্সফর্মেশনের একটি সংস্করণ:

y \mapsto {\begin{array}{rcl} \frac{y^{λ} - 1}{λ (\dot{y})^{λ - 1}}, & λ \neq 0 \\ \dot{y} \ln y, & λ = 0 \end{array}

$y \mapsto \left\{ \begin{eqnarray} \frac{y^\lambda-1}{\lambda (\dot y)^{\lambda-1}}, & \lambda \neq 0 \\ \dot y \ln y, & \lambda = 0 \end{eqnarray} \right.$ যেখানে হ'ল ডেটার জ্যামিতিক গড়। প্রতিক্রিয়া ভেরিয়েবলের রূপান্তর হিসাবে যখন ব্যবহার করা হয়, তখন এর নামমাত্র ভূমিকাটি হ'ল ডেটাটিকে সাধারণ বিতরণের আরও কাছাকাছি করে তোলা হয় এবং ডেটা অস্বাভাবিক বলে মনে হতে পারে বলে স্কিউনেসই প্রধান কারণ। আপনার স্ক্রেটারপ্লোটের সাথে আমার অন্ত্র অনুভূতিটি হ'ল এটির (কিছু কিছু) ব্যাখ্যামূলক এবং প্রতিক্রিয়ার ভেরিয়েবলগুলিতে প্রয়োগ করা দরকার।

\dot{y}

$\dot y$

পূর্ববর্তী কিছু আলোচনার মধ্যে অন্যান্য সাধারণকরণের রূপান্তরগুলি সাধারণত বর্গমূল, লগ ইত্যাদির মতো সাধারণগুলির বাইরেও ব্যবহৃত হয়? এবং জিরো সহ আমার অ-নেতিবাচক ডেটা কীভাবে রূপান্তর করা উচিত? । আপনি নিম্নলিখিত কোডে আর কোডটি খুঁজে পেতে পারেন কীভাবে আর-এ কোনও পরিসংখ্যান পদ্ধতির সন্ধান করবেন?

ইকোনোমেট্রিকগণ হেলবার্ট হোয়াইট (১৯৮০) এর পরিকল্পিতভাবে হেটেরোস্কেস্টাস্টিটির পক্ষে দৃfere়ভাবে নির্ধারিত পদ্ধতি নির্ধারণের পরে (যা বাস্তবে কেবল একটি পরিসংখ্যানবিদ এফ আইকার (১৯6767)) এর আগের গল্পটি পুনর্বিবেচনা করার পরে হিটবার্ট হোয়াইটের (১৯৮০) কাজ শেষে হিটরোসকেডাস্টিকটির বিষয়ে বিরক্ত করা বন্ধ করেছিলেন। উইকিপিডিয়া পৃষ্ঠাটি দেখুন যা আমি কেবল পুনরায় লিখেছি।

— StasK
সূত্র

ধন্যবাদ, এই মুহুর্তে আমি ত্রুটি হ্রাস করতে এবং পূর্বাভাস অন্তরগুলিকে উন্নত করতে পাওয়ার ট্রান্সফর্ম প্রয়োগ করতে হবে বা শক্তিশালী রিগ্রেশন ব্যবহার করব কিনা তা নিয়ে আমি বিতর্ক করছি। আমি ভাবছি কীভাবে দুটি কৌশল তুলনা করে। এছাড়াও আমি যদি রূপান্তরটি ব্যবহার করি তবে আমার পূর্বাভাসিত মানগুলিকে ব্যাক-ট্রান্সফর্ম করতে হবে। এটি সুস্পষ্ট সূত্রের মতো দেখাচ্ছে না, তাই না?

— রবার্ট কুব্রিক

যদি শক্ত প্রতিরোধের দ্বারা, আপনার অর্থ @ স্টাসকে বর্ণিত মজবুত স্ট্যান্ডার্ড ত্রুটিগুলি, যা অবশিষ্টাংশ / ত্রুটি একেবারেই পরিবর্তন করে না। গুণফলগুলি হ'ল ওএলএসের মতো একই, একইরূপ অবশিষ্টাংশ দেয়। সহগের স্ট্যান্ডার্ড ত্রুটিগুলি পরিবর্তন হয় এবং সাধারণত ওএলএস এসই থেকে বড় হয়। ভবিষ্যদ্বাণী ব্যবস্থাগুলি উন্নত হয়েছে যে আপনি এখন আপনার সহগের জন্য সঠিক মান ত্রুটিগুলি ব্যবহার করছেন (যদিও তারা ওএলএস থেকে প্রাপ্তদের তুলনায় সম্ভবত বৃহত্তর তুলনায়)। যদি আপনার লক্ষ্যটি পূর্বাভাস দেওয়া হয় তবে আপনার অবশ্যই সত্যিকারের রৈখিক মডেলটির সাথে থাকা উচিত এবং আমি আমার উত্তরে যে কৌশলগুলি উল্লেখ করেছি সেগুলি ব্যবহার করা উচিত।

y

$y$

— চার্লি

@Charlie আমি গড় en.wikipedia.org/wiki/Robust_regression । আমি এটিতে নতুন, তবে আমি বুঝতে পারি দৃust় প্রতিরোধের অনুমানের কৌশলটি পরিবর্তিত হয়, সুতরাং অবশিষ্টাংশগুলি অবশ্যই আলাদা হতে হবে।

— রবার্ট কুব্রিক

ঠিক আছে, এটি একটি আলাদা পদ্ধতি এবং আপনার অনুমানগুলি পরিবর্তন করে। আমি মনে করি প্রবাসীদের ক্ষেত্রে মামলার ক্ষেত্রে শক্তিশালী রিগ্রেশন আরও ভাল suited আপনি যে শক্তিশালী রিগ্রেশন ব্যবহার করবেন এবং আপনার নির্দিষ্ট ডেটা সেটটি স্থির করেছেন তার উপর নির্ভর করে আপনি ওএলএসের তুলনায় আরও বিস্তৃত আস্থা অন্তর পেতে পারেন।

— চার্লি

টাইম সিরিজের ডেটাগুলির মধ্যে নির্ভরশীল ভেরিয়েবলগুলির সাথে সম্পর্কিত হেটেরোস্কেস্টাস্টিটি ইস্যুটির খুব সহজ সমাধান রয়েছে। এটি আপনার নির্ভরশীল ভেরিয়েবলের জন্য প্রযোজ্য কিনা তা আমি জানি না। ধরে নেওয়া যাক, নামমাত্র Y ব্যবহারের পরিবর্তে পূর্ববর্তী সময়কালের তুলনায় বর্তমান সময়ের থেকে এটি Y এর%% পরিবর্তনে পরিবর্তন করা। উদাহরণস্বরূপ, ধরা যাক আপনার সাম্প্রতিক সময়ে আপনার নামমাত্র Y হ'ল জিডিপি tr 14 ট্রিলিয়ন। পরিবর্তে, অতি সাম্প্রতিক সময়কালে জিডিপির পরিবর্তনের গণনা করুন (আসুন 2.5% বলুন)।

একটি নামমাত্র সময় সিরিজ সর্বদা বৃদ্ধি পায় এবং সর্বদা হেটেরোস্কেস্টাস্টিক হয় (সময়ের সাথে ত্রুটির প্রকরণ বেড়ে যায় কারণ মানগুলি বৃদ্ধি পায়)। একটি% পরিবর্তন সিরিজ সাধারণত হোমসকেস্টাস্টিক কারণ নির্ভরশীল ভেরিয়েবলটি বেশ স্থির।

— Sympa
সূত্র

আমি যে মানগুলি ব্যবহার করছি তা হ'ল পূর্ববর্তী সময়কাল থেকে সময়ের পরিবর্তন% changes

Y

$Y$

— রবার্ট কুব্রিক

এটি অবাক করা। সাধারণত,% পরিবর্তন ভেরিয়েবলগুলি হিটারোস্কেস্টাস্টিক নয়। আমি ভাবছি যে অবশিষ্টাংশগুলি আমাদের ভাবার চেয়ে কম ভিন্ন ভিন্ন are এবং, যে অন্তর্নিহিত সমস্যা হ'ল বিদেশীদের মধ্যে একটি। আমি 0.15% পরিসীমাতে 4 বা 5 টি পর্যবেক্ষণ দেখতে পেয়েছি যা অপসারণ করা হলে পুরো গ্রাফটি হিটারোস্কেস্টাস্টিকের মতো দেখাবে। এছাড়াও, অন্যরা যেমন উল্লেখ করেছেন যে হিটরোসকেস্টাস্টিটি আপনার রিগ্রেশন সহগকে দূষিত করবে না, তবে কেবল আপনার আত্মবিশ্বাসের বিরতি এবং সম্পর্কিত মান ত্রুটি। তবে আপনার গ্রাফটি দেখে মনে হচ্ছে সিআইও খুব বেশি প্রভাবিত না হতে পারে। এবং, এখনও দরকারী হতে পারে।

— সিম্পা