আসুন কী ঘটছে তা ঘুরে দেখি। আমি নিশ্চিত যে আপনি ইতিমধ্যে নিম্নলিখিত উপাদানগুলির বেশিরভাগটি জানেন তবে নোটেশন এবং সংজ্ঞা প্রতিষ্ঠা করতে এবং ধারণাগুলি পরিষ্কার করার জন্য, আমি প্রশ্নের উত্তর দেওয়ার আগে বহুবর্ষীয় রিগ্রেশনের মূল বিষয়গুলি আবরণ করব। আপনি যদি চান R
তবে এই পোস্টের দুই-তৃতীয়াংশ পথটি "কী করে" শিরোনামে লাফিয়ে যান এবং তারপরে আপনার যে কোনও সংজ্ঞা প্রয়োজন হতে পারে সে জন্য ফিরে যান।
সেটিং
আমরা কোনও ধরণের রিগ্রেশনে সম্ভাব্য বর্ণনামূলক ভেরিয়েবলগুলির একটি n × কে মডেল ম্যাট্রিক্স এক্স বিবেচনা করছি । এর অর্থ আমরা এক্স এর কলামগুলি এন ভেক্টর এক্স1, এক্স2, … , এক্সট হিসাবে ভাবছি এবং আমরা সেগুলির রৈখিক সংমিশ্রণগুলি তৈরি করব, β1এক্স1+ + β2এক্স2+ ⋯ + βটএক্সট, একটি প্রতিক্রিয়ার পূর্বাভাস বা অনুমান করতে।
কখনও কখনও এক্স বিভিন্ন কলামকে একে অপরের দ্বারা গুণিত করে সহগের দ্বারা গুণন করে অতিরিক্ত কলাম প্রবর্তন করে একটি রিগ্রেশন উন্নত করা যায় । এই জাতীয় পণ্যগুলিকে "মনোমিয়ালস" বলা হয় এবং এটি লিখতেও পারে
এক্সঘ11এক্সঘ22। এক্সঘটট
যেখানে প্রতিটি "পাওয়ার" ঘআমি শূন্য বা তার চেয়ে বড়, প্রতিটি এক্স1 পণ্যটিতে কতবার উপস্থিত হয় তা উপস্থাপন করে। লক্ষ করুন যে এক্স0 হ'ল ধ্রুবক সহগ ( 1 ) এবং এক্স 1 = এক্স নিজেই একটি এন ভেক্টর । সুতরাং, মনোমিয়ালগুলি (ভেক্টর হিসাবে) একটি ভেক্টর স্পেস উত্পন্ন করে যা এক্সের মূল কলাম স্থান অন্তর্ভুক্ত করে । এটি বৃহত্তর ভেক্টর স্পেস হতে পারে এমন সম্ভাবনা লিনিয়ার সংমিশ্রণগুলির সাথে প্রতিক্রিয়াটি মডেল করার জন্য এই পদ্ধতিটিকে বৃহত্তর সুযোগ দেয়।1এক্স1= এক্সএক্স ।
আমরা মনোমালির সংগ্রহ রৈখিক সংমিশ্রণ দ্বারা মূল মডেল ম্যাট্রিক্স এক্স প্রতিস্থাপন করতে চাইছি। যখন এই মনোমালিন্যের মধ্যে কমপক্ষে একটির ডিগ্রি 1 , ছাড়িয়ে যায় , তখন এটিকে বহুতোষ রিগ্রেশন বলে।
বহুবর্ষের গ্রেডিং
ডিগ্রী একটি monomial তার ক্ষমতা সমষ্টি হল ঘ1+ ডি2+ … + ডিট। মোমোমিয়ালগুলির একটি লিনিয়ার সংমিশ্রণের ডিগ্রি (একটি "বহুভিত্তিক") ননজারো সহগের সাথে একচেটিয়া পদগুলির মধ্যে বৃহত্তম ডিগ্রি। ডিগ্রির একটি অন্তর্নিহিত অর্থ রয়েছে, কারণ আপনি যখন আসল ভেক্টরের জায়গার ভিত্তি পরিবর্তন করেন, প্রতিটি ভেক্টর এক্সআমি নতুনভাবে সমস্ত ভেক্টরগুলির একটি রৈখিক সংমিশ্রণ দ্বারা প্রতিনিধিত্ব করা হয়; monomials এক্সঘ11এক্সঘ22। এক্সঘটটএর ফলে একই ডিগ্রির বহুবর্ষে পরিণত হয়; এবং ফলস্বরূপ যে কোনও বহুপদী ডিগ্রি অপরিবর্তিত হয়।
ডিগ্রিটি এই বহুবর্ষীয় বীজগণিতকে একটি প্রাকৃতিক "গ্রেডিং" সরবরাহ করে: এক্স ডিগ্রি পর্যন্ত এবং ঘ+ 1 , সহ সমস্ত লিনিম সংমিশ্রণ দ্বারা উত্পাদিত ভেক্টর স্পেস , "[বা উচ্চতর] ডিগ্রি ঘ+ 1 এর বহুবর্ষ বলে এক্স, "ডিগ্রী পর্যন্ত polynomials এর ভেক্টর স্থান প্রসারিত ঘ মধ্যে এক্স।
বহুবর্ষীয় রিগ্রেশন ব্যবহার
প্রায়শই, বহুবর্ষীয় রিগ্রেশনটি অনুসন্ধানে এমন অর্থে হয় যে আমরা শুরুতে জানি না যে কোন মনোমালিকাগুলি অন্তর্ভুক্ত করা উচিত। মনোমালিকাগুলির বাইরে নতুন মডেল ম্যাট্রিক তৈরি করার পদ্ধতি এবং রিগ্রেশনটিকে পুনরায় ফিট করার প্রক্রিয়াটি বেশ কয়েকবার পুনরাবৃত্তি করতে হতে পারে, সম্ভবত কিছু মেশিন লার্নিং সেটিংসে জ্যোতির্বিজ্ঞানসংখ্যক বার।
এই পদ্ধতির সাথে প্রধান সমস্যাগুলি হ'ল
মোমোমিয়ালগুলি প্রায়শই নতুন মডেল ম্যাট্রিক্সে সমস্যাযুক্ত পরিমাণ "মাল্টিকলাইনারিটি" প্রবর্তন করে, মূলত কারণ একটি একক ভেরিয়েবলের শক্তিগুলি অত্যন্ত কোলাইনারি হতে থাকে। (দুটি পৃথক ভেরিয়েবলের ক্ষমতার মধ্যে সহৈক্য অনির্দেশ্য, কারণ এটি কীভাবে সেই পরিবর্তনশীলগুলির সাথে সম্পর্কিত এবং তার ফলে এটি কম অনুমানযোগ্য তা নির্ভর করে))
মডেল ম্যাট্রিক্সের কেবল একটি একক কলাম পরিবর্তন করা, বা একটি নতুন প্রবর্তন করা, বা একটি মুছে ফেলার ক্ষেত্রে রিগ্রেশন প্রক্রিয়াটির "কোল্ড পুনরায় চালু" হতে পারে, সম্ভবত গণনার জন্য দীর্ঘ সময় নিবে।
বহুবচনীয় বীজগণিতগুলির গ্রেডিং উভয় সমস্যা কাটিয়ে উঠার একটি উপায় সরবরাহ করে।
একটি পরিবর্তনশীলে অরথোগোনাল বহুবচন
প্রদত্ত একক কলাম ভেক্টর এক্স, জন্য "লম্ব polynomials" একটি সেট এক্স হয় কলাম ভেক্টর একটা ক্রম পি0( এক্স) , পি1( এক্স) , পি2( এক্স) , … মধ্যে monomials রৈখিক সমন্বয় হিসাবে গঠিত এক্স একা - এটি এক্স শক্তি হিসাবে - নীচের বৈশিষ্ট্যগুলির সাথে:
প্রতিটি ডিগ্রি ঘ= 0 , 1 , 2 , … , ভেক্টর পি0( এক্স) , পি1( এক্স) , … , পিঘ( এক্স)এক্স0, এক্স1, … , এক্সঘ। মতো একই ভেক্টর স্পেস তৈরি করে । (লক্ষ্য করুন যে এক্স0 হ'ল এন ভেক্টর এবং এক্স1 কেবল এক্স নিজেই।)
পিআমি( এক্স) পারস্পরিক হয় লম্ব অর্থে যে জন্য আমি ≠ ঞ , পিআমি( এক্স)'পিঞ( এক্স) = 0।
সাধারণত, প্রতিস্থাপন মডেল ম্যাট্রিক্স পি = ( পি0( এক্স)পি1( এক্স)⋯পিঘ( এক্স))
এই monomials থেকে গঠিত হতে নির্বাচিত orthonormal ইউনিট দৈর্ঘ্য তার কলাম স্বাভাবিক দ্বারা: পি'পি = আইঘ+ 1।
বিপরীত কারণ পি'পি সবচেয়ে রিগ্রেশন সমীকরণ উপস্থিত হয় এবং পরিচয় ম্যাট্রিক্সের বিপরীত আমিঘ+ 1 এটি নিজেই, এটি একটি বিশাল গণনার লাভের প্রতিনিধিত্ব করে।
অরথনোরালাইটি খুব প্রায় পিআমি( এক্স) । নির্ধারণ করে । আপনি এটি নির্মাণ করে দেখতে পারেন:
প্রথম বহুপদী, পি0( এক্স) , এর গুণিতক হতে হবে এন -vector 1 =(1,1,…,1 )' ইউনিট দৈর্ঘ্যের। মাত্র দুটি বিকল্প আছে, ± 1 / এন---√ঘ । এটি ইতিবাচক বর্গমূল বেছে নেওয়ার প্রথাগত।
দ্বিতীয় বহুপদী, পি1( এক্স) , অরথোগোনাল হতে হবে ঘ । এটা তোলে regressing পাওয়া যেতে পারে এক্স বিরুদ্ধে 1 , যেগুলোর সমাধান মধ্যবর্তি মাপটা বাহক এক্স = ˉ এক্স 1 । তাহলে অবশিষ্টাংশ ε = এক্স - এক্স না অভিন্নরুপে শূন্য, তারা মাত্র দুটি সম্ভাব্য সমাধান দিতে পি 1 ( এক্স ) = ± ( 1 / | | ε | |এক্স^= এক্স¯ঘ ।ϵ = এক্স- এক্স^পি1( এক্স) = ± ( 1 / | | ϵ | | )ε ।
...
- সাধারণত, পিঘ+ 1( এক্স) regressing দ্বারা প্রাপ্ত হয় এক্সঘ+ 1 বিরুদ্ধে পি0( এক্স) , পি1( এক্স) , … , পিঘ( এক্স) এবং অবশিষ্টাংশ rescaling ইউনিট দৈর্ঘ্যের একটি ভেক্টর যাবে। যখন বাকী সমস্ত শূন্য হয় না তখন দুটি চিহ্নের বিকল্প থাকে। অন্যথায়, প্রক্রিয়াটি শেষ হয়: এক্স। উচ্চতর শক্তির দিকে তাকানো ফলদায়ক হবে । (এটি একটি দুর্দান্ত উপপাদ্য তবে এর প্রমাণ আমাদের এখানে বিভ্রান্ত করার দরকার নেই))
এটি গ্রাম-শ্মিট প্রক্রিয়াটি ভেক্টর এক্স0, এক্স1, … , এক্সঘ, … । এর অভ্যন্তরীণ সিকোয়েন্সে প্রয়োগ করা হয় । সাধারণত এটি QR পচন ব্যবহার করে গণনা করা হয় , যা প্রায় একই জিনিস তবে একটি সংখ্যাগত স্থিতিশীল পদ্ধতিতে গণনা করা হয়।
এই নির্মাণটি মডেল ম্যাট্রিক্স অন্তর্ভুক্ত বিবেচনা করতে অতিরিক্ত কলামের ক্রম লাভ করে। বহুভৌত রিগ্রেশন একটি ভেরিয়েবলের ফলে সাধারণত ক্রমটির ক্রমগুলির ক্রমগুলির আরও এক যোগ না হওয়া অবধি একের পর এক ক্রমটির উপাদান যুক্ত করে এগিয়ে যায়। কারণ প্রতিটি নতুন কলাম পূর্ববর্তীগুলির সাথে অর্থেগোনাল, এটি সহ পূর্ববর্তী সহগের প্রাক্কলনগুলির কোনও পরিবর্তন করে না। এটি একটি দক্ষ এবং সহজেই ব্যাখ্যাযোগ্য পদ্ধতি তৈরি করে।
একাধিক ভেরিয়েবলগুলিতে বহুবচন
অনুসন্ধানের রিগ্রেশন (পাশাপাশি মডেল ফিটিং) প্রথমে বিবেচনা করে এগিয়ে যায় কোন (মূল) ভেরিয়েবলগুলিকে কোনও মডেল অন্তর্ভুক্ত করতে হবে; তারপরে মূল্যায়ণগুলি those ভেরিয়েবলগুলির বিভিন্ন রূপান্তরগুলি যেমন মনোমিয়ালগুলি অন্তর্ভুক্ত করে বাড়ানো যায় কিনা; এবং তারপরে এই ভেরিয়েবলগুলির পণ্য এবং তাদের পুনঃপ্রকাশের দ্বারা গঠিত "মিথস্ক্রিয়া" প্রবর্তন করা।
যেমন একটি প্রোগ্রাম পূরণকল্পে, তারপর, বিরচন দিয়ে শুরু করতেন univariate লম্ব polynomials এর কলামে এক্স আলাদাভাবে। প্রতিটি কলামের জন্য উপযুক্ত ডিগ্রি নির্বাচনের পরে আপনি ইন্টারঅ্যাকশনগুলি প্রবর্তন করবেন।
এই সময়ে, অবিচ্ছিন্ন প্রোগ্রামের অংশগুলি ভেঙে যায়। উপযুক্ত মডেল সনাক্ত না হওয়া অবধি আপনি একের পর এক ইন্টারঅ্যাকশনগুলির কী অনুক্রম প্রয়োগ করবেন? তদুপরি, এখন যেহেতু আমরা সত্যিকার অর্থে বহুবিধ পরিবর্তনযোগ্য বিশ্লেষণের রাজ্যে প্রবেশ করেছি, উপলব্ধ বিকল্পগুলির সংখ্যা এবং তাদের ক্রমবর্ধমান জটিলতা বোঝায় যে মাল্টিভারিয়েট অরথোগোনাল বহুবর্ষের ক্রম নির্মানের ক্ষেত্রে কমমানের আয় হতে পারে । তবে, যদি আপনার মনে এই জাতীয় ক্রম থাকে তবে আপনি QR পচন ব্যবহার করে এটি গণনা করতে পারেন।
কি R
করে
বহুবর্ষীয় সংমিশ্রণের জন্য সফ্টওয়্যার অতএব অবিচ্ছিন্ন অরথোগোনাল বহুবর্ষীয় অনুক্রমগুলি গণনা করার দিকে মনোনিবেশ করে । R
অবিবাহিত বহুবর্ষের গোষ্ঠীতে স্বয়ংক্রিয়ভাবে যথাসময়ে এই ধরনের সমর্থন বাড়ানোর বৈশিষ্ট্য । এটি কি poly
করে। (এর সঙ্গী polym
মূলত কয়েকটি ঘণ্টা এবং সিঁড়ি সহ একই কোড; দুটি ফাংশন একই কাজ করে))
বিশেষ করে, poly
univariate লম্ব polynomials একটা ক্রম গনা যখন একটি একক ভেক্টর দেওয়া হবে এক্স, একটি নির্দিষ্ট ডিগ্রী এ বাঁধন ঘ। (যদি ঘ অত্যন্ত বড় - এবং এটা কঠিন ভবিষ্যদ্বাণী করা কত বড় অত্যন্ত বড় হতে পারে -। এটা দুর্ভাগ্যবশত একটি ত্রুটি ছোঁড়া) যখন একটি প্রদত্ত সেট ভেক্টর এক্স1, … , এক্সট একটি ম্যাট্রিক্স আকারে এক্স , এটা ফিরে আসবে
পি1( এক্সঞ) , পি2( এক্সঞ) , … , পিঘ( এক্সঞ)ঞঘ।পি0( এক্সআমি)R
ঘ।
ঘ।2ঘ= 2 , R
পি1( এক্স1) ,পি2( এক্স1) ,পি1( এক্স2) ,পি1( এক্স1) পি1( এক্স2) ,পি2( এক্স2) ।
R
পি2( এক্স1) পি1( এক্স2) , পি1( এক্স1) পি2( এক্স2)পি1( এক্স2) পি2( এক্স2)formula
পি1( এক্স1) পি1( এক্স2) ।পি1( এক্স1)পি1( এক্স2)
একটি উদাহরণ
এক্স = ⎛⎝⎜152364⎞⎠⎟।
এক্স1= ( 1 , 5 , 2 )'এক্স01= ( 1 , 1 , 1 )'পি0( এক্স1) = ( 1 , 1 , 1 )'/ 3-√≈ ( 0.58 , 0.58 , 0.58 )'।এক্স11= এক্স1পি0( এক্স1) ,এক্স1পি0( এক্স1)পি1( এক্স1)এক্স1পি1( এক্স1) = ( - 0.57 , 0.79 , - 0.23 )'।এক্স21= ( 1 , 25 , 4 )পি0( এক্স1)পি1( এক্স1)এক্স1n = 3এক্স1,( টি - 1 ) ( টি - 5 ) ( টি - 4 ) ,3 ,3 বা বৃহত্তর হ'ল নিম্ন শক্তিগুলির রৈখিক সংমিশ্রণগুলি এবং সেই নিম্ন শক্তিগুলি রৈখিকভাবে স্বাধীন))
এক্স1
পি1= ⎛⎝⎜0.580.580.58- 0.570.79- 0.230.590.20- 0.78⎞⎠⎟
(দুটি উল্লেখযোগ্য পরিসংখ্যান)।
এক্স2
পি2= ⎛⎝⎜0.580.580.58- 0.620.77- 0.150.530.27- 0.80⎞⎠⎟।
( 0.35 , 0.61 , 0.035 )'।poly
polym
পি = ⎛⎝⎜- 0.570.79- 0.230.590.20- 0.78- 0.620.77- 0.150.350.610,0350.530.27- 0.80⎞⎠⎟।
এক্স1এক্স2পি'পি ,( 1 , 2 ) , ( 2 , 1 ) , ( 3 , 5 ) ,( 5 , 3 )( 1 , 1 ) , ( 2 , 2 ) , ( 3 , 3 ) ,( 5 , 5 )( 4 , 4 )
পি'পি = ⎛⎝⎜⎜⎜⎜⎜⎜1010.280.09101- 0.0910.311- 0.09110.2500.280.30.250.50.320.091100.321⎞⎠⎟⎟⎟⎟⎟⎟।
P10−17