রৈখিকতা অর্জনের জন্য সেরা রূপান্তর কীভাবে চয়ন করবেন?

Question

আমি একাধিক লিনিয়ার রিগ্রেশন করতে এবং তারপরে সামান্য এক্সট্রোপোলেশন সহ নতুন মানগুলির পূর্বাভাস দিতে চাই। আমার -2 থেকে +7 এবং তিনটি ভবিষ্যদ্বাণী (+10 - +200 সম্পর্কে পরিসীমা) এর মধ্যে আমার প্রতিক্রিয়া পরিবর্তনশীল। বিতরণ প্রায় স্বাভাবিক। তবে প্রতিক্রিয়া এবং ভবিষ্যদ্বাণীকারীদের মধ্যে সম্পর্ক লিনিয়ার নয়, আমি প্লটগুলিতে বক্ররেখা দেখছি। উদাহরণস্বরূপ: http://cs10418.userapi.com/u17020874/153949434/x_9898cf38.jpg

রৈখিকতা অর্জনের জন্য আমি একটি রূপান্তর প্রয়োগ করতে চাই। আমি প্রতিক্রিয়া এবং ভবিষ্যদ্বাণীকারীদের মধ্যে একটি লিনিয়ার সম্পর্ক দেখতে বিভিন্ন ফাংশনগুলি পরীক্ষা করে এবং ফলস্বরূপ প্লটগুলি দেখে প্রতিক্রিয়ার পরিবর্তনশীলকে পরিবর্তিত করার চেষ্টা করেছি। এবং আমি দেখতে পেয়েছি যে অনেকগুলি ফাংশন রয়েছে যা আমাকে দৃশ্যমান রৈখিক সম্পর্ক দিতে পারে। উদাহরণস্বরূপ, ফাংশন

$t_1=\log(y+2.5)$

$t_2=\frac{1}{\log(y+5)}$

$t_3=\frac{1}{y+5}$

$t_4=\frac{1}{(y+10)^3}$

$t_5=\frac{1}{(y+3)^\frac{1}{3}}$ ইত্যাদি অনুরূপ ফলাফল দেয়: http://cs10418.userapi.com/u17020874/153949434/x_06f13dbf.jpg

আমি পূর্বাভাসিত মানগুলিকে ব্যাক-ট্রান্সফর্ম করতে যাচ্ছি ( হিসাবে এবং তাই)। বিতরণগুলি কমবেশি স্বাভাবিকের সাথে মিল রয়েছে similar y′=$t=\frac{1}{(y+10)^3}$$y’=\frac{1}{t^\frac{1}{3}}-10$

আমি কীভাবে আমার ডেটার জন্য সেরা রূপান্তর চয়ন করতে পারি? লিনিয়ারিটি মূল্যায়নের জন্য কি কোনও পরিমাণগত (এবং খুব জটিল নয়) উপায় আছে? নির্বাচিত রূপান্তরটি সেরা তা প্রমাণ করা বা সম্ভব হলে স্বয়ংক্রিয়ভাবে এটি সন্ধান করা।

বা একমাত্র উপায় অ-রৈখিক একাধিক রিগ্রেশন করা কি?

Comments

আপনার সূত্রগুলির ফর্ম্যাটিংয়ের উন্নতি করতে আমার কিছুটা সময় ছিল তবে কিছু ভুল হতে পারে - দয়া করে চেক করুন।

— পিটার এলিস

আমি তোমাকে বিশ্বাস করি না. এটা গাণিতিকভাবে সম্ভব হয় মাধ্যমে একযোগে করতে সীমায় ষষ্ঠ পরিবর্তনশীল সঙ্গে একটি রৈখিক সম্পর্ক আছে । আমি মনে করি আপনি এই রূপান্তরগুলি গণনা করতে ভুল করেছেন । $t_1$$t_5$$0\ldots 200$$y$

— শুশ

@ শুভ উত্তরের জন্য আপনাকে ধন্যবাদ। আমি আরএসসি 9579.userapi.com/u17020874/153949434/z_9fa17c02.jpg cs9579.userapi.com/u17020874/153949434/z_7fa6891c.jpg

— নাদ্যা

তুমি ঠিক বলছো. এটি বেশ আশ্চর্যজনক যে y এর এত বিস্তৃত পুনরায় প্রকাশের সাথে আর এর সাথে লিনিয়ার সম্পর্কের অবধি থাকবে। ভাগ করে নেওয়ার জন্য ধন্যবাদ। আপনি অবশিষ্টাংশ প্লটে বিভক্ত থাকেন তবে আপনি সেই পাবেন সেরা সম্পর্কে রূপ, এবং তারপর কোন পুনরায় অভিব্যক্তি দরকার: । $1/(y+5)$$r$plot(lm(1/(y+5)~r))

— whuber

Answer 1

এটি কিছুটা শিল্প, তবে কিছু স্ট্যান্ডার্ড, সোজা জিনিস রয়েছে যা সর্বদা চেষ্টা করা যায়।

প্রথম কাজটি হ'ল অবশিষ্টাংশগুলিকে স্বাভাবিক করার জন্য নির্ভরশীল পরিবর্তনশীল ( ) পুনরায় প্রকাশ করা । এটি এই উদাহরণে সত্যিই প্রযোজ্য নয়, যেখানে পয়েন্টগুলি খুব অল্প বিচ্ছুরণের সাথে মসৃণ ননলাইনার বক্ররেখার সাথে পড়ে বলে মনে হয়। সুতরাং আমরা পরবর্তী পদক্ষেপে এগিয়ে যান।$y$

পরের বিষয়টি হ'ল স্বতন্ত্র ভেরিয়েবলটি পুনরায় প্রকাশ করা ( ) সম্পর্কটিকে লিনিয়ারাইজ করার জন্য। এটি করার একটি সহজ, সহজ উপায় আছে। অগ্রণীত উভয় প্রান্ত এবং মাঝখানে বক্ররেখার সাথে তিনটি প্রতিনিধি পয়েন্ট বাছুন। প্রথম চিত্র থেকে আমি = , এবং । এই ব্যতীত অন্য কোনও তথ্য সর্বদা ইতিবাচক হিসাবে উপস্থিত বলে মনে হয় না, একটি ভাল পছন্দ হ'ল বিভিন্ন পাওয়ার জন্য বক্স-কক্স রূপান্তরগুলি , সাধারণত গুণক হিসাবে বেছে নেওয়া হয় বা এবং সাধারণত এর মধ্যে$r$$(r,y)$$(10,7)$$(90,0)$$(180,-2)$$r$ $r \to (r^p-1)/p$$p$$1/2$$1/3$$-1$ এবং । (যেমন সীমিত মান পন্থা হয় ।) এই রূপান্তর একটি আনুমানিক রৈখিক সম্পর্ক তৈরি করবে দ্বিতীয় জোড়া মধ্যে ঢাল সমান প্রথম দুই বিন্দুর মধ্যে ঢাল প্রদান করা হয়েছে।$1$$p$$0$$\log(r)$

উদাহরণস্বরূপ, = - এবং = । এগুলি একেবারে পৃথক: একটি অন্যর থেকে প্রায় চারগুণ। চেষ্টা ঢালে দেয় , ইত্যাদি, যা এবং কাজ করে : এখন তাদের মধ্যে একটি কেবল দ্বিতীয়টির দ্বিগুণ, এটি একটি উন্নতি। এই ফ্যাশন অবিরত (একটি স্প্রেডশিট সুবিধাজনক), আমি দেখতে পাচ্ছি যে ভাল কাজ করে: এখন এবং$(0-7)/(90-10)$$0.088$$(-2-0)/(180-90)$$-0.022$$p=-1/2$-16.6-32.4পি≈0-7.3-6.6Y=α+ +βলগ(দ)$(0-7)/(\frac{90^{-1/2}-1}{-1/2}-\frac{10^{-1/2}-1}{-1/2})$$-16.6$$-32.4$$p \approx 0$$-7.3$$-6.6$প্রায় একই মান। ফলস্বরূপ, আপনার ফর্মের একটি মডেল চেষ্টা করা উচিত । তারপরে পুনরাবৃত্তি করুন: একটি রেখায় ফিট করুন, অবশিষ্টাংশগুলি পরীক্ষা করুন, তাদের প্রায় প্রতিসাম্য তৈরি করার জন্য একটি রূপান্তর চিহ্নিত করুন এবং পুনরাবৃত্তি করুন।$y = \alpha + \beta \log(r)$$y$

জন টুকি তার ক্লাসিক বই এক্সপ্লোরারি ডেটা অ্যানালাইসিসে (অ্যাডিসন-ওয়েসলি, 1977) বিবরণ এবং অনেক উদাহরণ সরবরাহ করে । তিনি ভিন্নতা-স্থিতিশীল রূপান্তরগুলি সনাক্ত করতে অনুরূপ (তবে কিছুটা বেশি জড়িত) পদ্ধতি সরবরাহ করেন । তিনি একটি অনুশীলন হিসাবে সরবরাহ করেন এমন একটি নমুনা বিভিন্ন তাপমাত্রায় পরিমাপ করা পারদ বাষ্পের চাপ সম্পর্কে শতাব্দী পুরানো ডেটা নিয়ে উদ্বেগ প্রকাশ করে। এই পদ্ধতির অনুসরণ করা একজনকে ক্লাউসিয়াস-ক্ল্যাপাইরন সম্পর্ক পুনরায় আবিষ্কার করতে সক্ষম করে ; চূড়ান্ত ফিটের অবশিষ্টাংশগুলি পারমাণবিক দূরত্বে ঘটে যাওয়া কোয়ান্টাম-যান্ত্রিক প্রভাবগুলির ক্ষেত্রে ব্যাখ্যা করা যায়!$y$

Comments

বক্স-কক্স রূপান্তরের পরামর্শের জন্য আপনাকে ধন্যবাদ। আর-স্কোয়ার্ডের lm (1 / (y + 5) ~ r) এবং অন্যান্য ফাংশনের lm পরীক্ষা করে এবং তারপর এই আর-স্কোয়ারের তুলনা করার কি কোনও ধারণা নেই?

— নাদি

এটি rঠিক করা হলে তা বোঝা যায় , কারণ তখন অবশিষ্টাংশের বৈচিত্রের জন্য প্রক্সি। যদি আপনি পুনরায় প্রকাশ করেন (স্বতন্ত্র ভেরিয়েবল), তবে, তবে মূল্যহীন বা বিভ্রান্তিকর: দেখুন stats.stackexchange.com/questions/13314/… । আর $R^2$r$R^2$

— whuber

উত্তর দেওয়ার জন্য অনেক ধন্যবাদ! আমি আমার স্বতন্ত্র ভেরিয়েবলগুলি রূপান্তর করতে যাচ্ছি না

— nadya

@whuber: ধরে নেওয়া যাক আমি শুধুমাত্র একটি একক পরিবর্তনশীল আছে , কি একটি চলতি নিয়ম রূপান্তর চয়ন করতে চান? আমার কাছে টুয়ের ইডিএ বই আছে তবে আমার কাছাকাছি পথ খুঁজে পাওয়া আমার পক্ষে কঠিন। অনেকগুলি কলম এবং কাগজের পুনরায় প্রকাশের দিকে মনোনিবেশিত বলে মনে হচ্ছে। কোন পৃষ্ঠা / অধ্যায় আপনি খুব মূল্যবান বলে মনে করেন? $y$

— এরিচ শুবার্ট

@ এরিক এই বইয়ের প্রতিটি বিট গভীরভাবে পুরষ্কারজনক: সর্বোপরি, আপনি যদি পেন্সিল এবং কাগজ দিয়ে কিছু করতে পারেন তবে আপনি এটি করার জন্য একটি কম্পিউটার প্রোগ্রাম করতে পারেন :-)। একক ভেরিয়েবলের সাথে প্রায়শই এটি প্রতিসাম্যের জন্য রূপান্তরিত করা ভাল (এর অভিজ্ঞতা অভিজ্ঞতা); টুকি এটিকে একটি "সামান্য চুক্তি" বলে। এই ধরণের রূপান্তর সনাক্তকরণের একটি সহজ উপায় 3E বিভাগে বর্ণিত হয়েছে, "দ্রুত দেখছি। এটি এন-লেটার সারসংক্ষেপের এক নজরে কী শিখতে পারে তা চিত্রিত করে (টুকি একটি 7- বা 9-অক্ষরের সারাংশের প্রস্তাব দেয়)। কম্পিউটার প্রোগ্রাম করার চেয়ে দক্ষতা অর্জন করা আপনার জন্য গণনা করার চেয়ে মূল্যবান।

— হোবার

Answer 2

যদি আপনার প্রতিক্রিয়া পরিবর্তনশীল (বা পরিবর্তে, কীভাবে আপনার প্রতিক্রিয়ার পরিবর্তনশীলগুলির অবশিষ্টাংশ হয়ে উঠবে) আপনি বোঝাচ্ছেন এমন একটি সাধারণ বিতরণ থাকে, তবে অন্যান্য ভেরিয়েবলের সাথে রৈখিক সম্পর্ক তৈরির জন্য রূপান্তর করার অর্থ এই হবে যে এটি আর স্বাভাবিক নয় এবং এটি তারতম্য এবং গড় মানগুলির মধ্যে সম্পর্ককেও পরিবর্তন করবে। সুতরাং আপনার বর্ণনার সেই অংশটি থেকে আমি মনে করি আপনি প্রতিক্রিয়ার পরিবর্তনের চেয়ে অ-লিনিয়ার রিগ্রেশন ব্যবহার করা ভাল। অন্যথায়, প্রতিক্রিয়াটির রৈখিক রূপান্তরের পরে আপনার আরও জটিল ত্রুটি কাঠামোর প্রয়োজন হবে (যদিও এটি বিচারের বিষয় হতে পারে এবং আপনার গ্রাফিকাল পদ্ধতি ব্যবহার করে পরীক্ষা করতে হবে)।

বিকল্পভাবে, ব্যাখ্যামূলক ভেরিয়েবলের রূপান্তর তদন্ত করুন । সোজা রূপান্তরের পাশাপাশি আপনার কাছে চতুর্ভুজ পদগুলিতে যুক্ত করার বিকল্পও রয়েছে।

আরও সাধারণভাবে, রূপান্তর একটি বিজ্ঞানের চেয়ে আরও বেশি বেশি একটি শিল্প, যদি রূপান্তরটির ভিত্তি হিসাবে আপনার কী ব্যবহার করা উচিত তা প্রস্তাব করার কোনও বিদ্যমান তত্ত্ব না থাকলে।