আউটপুট ভেরিয়েবলের পূর্বাভাস দেওয়ার জন্য মূল উপাদানগুলিতে রিগ্রেশন কীভাবে প্রয়োগ করবেন?

Question

আমি টিউটোরিয়াল 1 , লিঙ্ক 1 এবং লিংক 2 থেকে মূল উপাদান বিশ্লেষণের মূল বিষয়গুলি সম্পর্কে পড়েছি ।

আমার কাছে 100 ভেরিয়েবলের ডেটা সেট রয়েছে (আউটপুট ভেরিয়েবল ওয়াই সহ), আমি পিসিএ দ্বারা ভেরিয়েবলগুলি 40 এ হ্রাস করতে চাই এবং তারপরে 40 টি ভেরিয়েবল ব্যবহার করে ভেরিয়েবল ওয় এর পূর্বাভাস দিতে পারি।

সমস্যা 1: প্রধান উপাদানগুলি পাওয়ার পরে এবং প্রথম 40 টি উপাদান বেছে নেওয়ার পরে, যদি আমি এটিতে রিগ্রেশন প্রয়োগ করি তবে আমি কিছু ফাংশন পাই যা ডেটা ফিট করে। তবে কীভাবে আসল তথ্য থেকে কিছু পরিবর্তনশীল ওয়াই অনুমান করা যায়? ইনপুটটিতে ভেরিয়েবলের ওয়াইভেবল (100-1) ভ্যারিয়েবলের পূর্বাভাস দিতে এবং আমি কীভাবে জানতে পারি যে আমার মূল 100-1 ভেরিয়েবলগুলির মধ্যে কোন 40 ভেরিয়েবলগুলি বেছে নেবে?

সমস্যা 2: আমি পিসিএটির বিপরীত কাজ করি এবং 40 টি প্রধান উপাদান থেকে ডেটা ফিরে পাই। তবে ডেটা পরিবর্তন করা হয়েছে কারণ আমি কেবল প্রথম 40 টি উপাদান বেছে নিয়েছি। এই ডেটাগুলিতে রিগ্রেশন প্রয়োগ করা কি কোনও অর্থবোধ করে?

আমি মতলব / অষ্টাভ ব্যবহার করি।

Comments

পিসিএ করতে আপনি কোন সফটওয়্যার বা প্রোগ্রাম ব্যবহার করেন? উদাহরণস্বরূপ এসপিএসএসে এই বিশ্লেষণটি সহজেই করা যায় এবং আপনি যে মূল উপাদানগুলি বের করতে চান তার সংখ্যা নির্ধারণ করতে পারেন এবং কোনটি আউটপুটে নির্বাচিত তা আপনি দেখতে পারেন। অবশ্যই এই ডেটাতে রিগ্রেশন প্রয়োগ করা কোনও অর্থবোধ করে কারণ পিসিএ মাত্র মাত্রা হ্রাসের জন্য ব্যবহৃত হয়।

— মার্ভেসেং

আপনি যদি ভবিষ্যদ্বাণী করতে সম্পূর্ণ আগ্রহী হন, আপনার সচেতন হওয়া উচিত যে হাসিটি, তিবশিরানী এবং ফ্রেডম্যান মূল উপাদানগুলির রিগ্রেশন নিয়ে লাসো রিগ্রেশনকে সুপারিশ করেন কারণ লাসো সম্ভবত একই কাজটি করে (মডেলটিতে ভেরিয়েবলের সংখ্যা হ্রাস করে ভবিষ্যদ্বাণীমূলক দক্ষতা উন্নত করে) তবে উত্তম. আজকাল পরিসংখ্যান প্যাকেজগুলিতেও লাসো ব্যাপকভাবে উপলব্ধ।

— শ্যাডট্যালকার

@ এসএসডেকট্রোল: হ্যাস্টি এট আল করুন। প্রধান উপাদান সংক্ষেপে বিশেষত lasso সুপারিশ? লিসোর চেয়ে পিসিআর রিজ রিগ্রেশনের সাথে অনেক বেশি সংযুক্ত: এটি কোনও স্বল্পতা চাপিয়ে দিচ্ছে না (যেমন লাসোর মত নয় বৈশিষ্ট্য নির্বাচন করছে না), বরং এটি রিজের মতো সমস্ত ওজনকে শাস্তি দিচ্ছে। সম্ভবত তারা পিসিআর উপর স্থিতিস্থাপক জাল সুপারিশ, কিন্তু এটি লাসো প্লাস রিজ।

— অ্যামিবা

@ আমেবা আমি সবেমাত্র গিয়ে অনলাইনে পিডিএফ পরীক্ষা করেছিলাম। হয় লেখাটি পরিবর্তিত হয়েছে, বা আমি প্রথমবার এটি পড়ার সময় ভুল বুঝেছি। উপসংহারটি এই নয় যে "লাসো উন্নততর", তবে "পিসিআর, পিএলএস এবং রিজ রিগ্রেশন একইরকম আচরণ করে বলে মনে হয় এবং" ক্রমাগত এটি নিয়মিত হওয়ার কারণে এটি আরও ভাল হতে পারে। আমাকে সৎ রাখার জন্য ধন্যবাদ!

— শ্যাডট্যালকার

Answer 1

আপনি আপনার আসল 99 (100-1) ভেরিয়েবলগুলির একটি উপসেট চয়ন করবেন না।

মূল উপাদানগুলির মধ্যে প্রতিটি হ'ল সমস্ত 99 পূর্বাভাসকারী ভেরিয়েবলের (লম্বা এক্স-ভেরিয়েবল, আইভি, ...) সংযুক্তি। আপনি যদি প্রথম 40 টি মূল উপাদান ব্যবহার করেন তবে সেগুলির প্রত্যেকটিই সমস্ত 99 টি মূল অনুমানকারী-ভেরিয়েবলগুলির একটি ফাংশন। (কমপক্ষে সাধারণ পিসিএ সহ - স্প্লস / নিয়মিত সংস্করণ রয়েছে যেমন ঝাউ, হাস্টি এবং তিবশিরানীর এসপিসিএ যা কম ভেরিয়েবলের ভিত্তিতে উপাদানগুলি সরবরাহ করবে))

দুটি ইতিবাচক পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবলের সহজ ক্ষেত্রে বিবেচনা করুন, যা সরলতার জন্য আমরা ধরে নেব সমান পরিবর্তনশীল। তারপরে প্রথম মূল উপাদানটি উভয় প্রকারের যোগফলের (ভগ্নাংশ) একক হবে এবং দ্বিতীয়টি দুটি রূপের পার্থক্যের একটি (ভগ্নাংশ) একাধিক হবে; যদি দুটি সমানভাবে পরিবর্তনশীল না হয় তবে প্রথম প্রধান উপাদান আরও বেশি পরিবর্তনশীলকে আরও ভারী করবে, তবে এটি এখনও উভয়কেই জড়িত করবে।

সুতরাং আপনি আপনার 99 এক্স-ভেরিয়েবলগুলি দিয়ে শুরু করুন, যা থেকে আপনি প্রতিটি 40 টি মূল ভেরিয়েবলের সাথে সংশ্লিষ্ট ওজন প্রয়োগ করে আপনার 40 টি মূল উপাদানগুলি গণনা করেন। [আমার আলোচনায় এনবি আমি ধরে নিই$y$ এবং $X$এরই মধ্যে কেন্দ্রিক।]

তারপরে আপনি আপনার 40 টি নতুন ভেরিয়েবলগুলি ব্যবহার করুন যেন তারা তাদের নিজস্ব ভবিষ্যদ্বাণীকারী যেমন ঠিক তেমন কোনও একাধিক রিগ্রেশন সমস্যার সাথে থাকে। (বাস্তবে, অনুমানগুলি পাওয়ার আরও কার্যকর উপায় রয়েছে তবে আসুন গণনার দিকগুলি বাদ দিন এবং কেবল একটি প্রাথমিক ধারণা নিয়ে কাজ করুন)

আপনার দ্বিতীয় প্রশ্নের প্রসঙ্গে, "পিসিএ বিপরীত" দ্বারা আপনি কী বোঝাতে চেয়েছেন তা পরিষ্কার নয়।

আপনার পিসিগুলি মূল পরিবর্তনের লিনিয়ার সংমিশ্রণ। আসুন বলি যে আপনার আসল প্রকরণগুলি রয়েছে$X$, এবং আপনি গণনা $Z=XW$ (কোথায় $X$ হয় $n\times 99$ এবং $W$ হয় $99\times 40$ ম্যাট্রিক্স যা প্রধান উপাদান ওজন ধারণ করে $40$ আপনি যে উপাদানগুলি ব্যবহার করছেন), তারপরে আপনি অনুমান করেন $\hat{y}=Z\hat{\beta}_\text{PC}$ রিগ্রেশন মাধ্যমে।

তাহলে আপনি লিখতে পারেন $\hat{y}=Z\hat{\beta}_\text{PC}=XW\hat{\beta}_\text{PC}=X\hat{\beta}^*$ বলুন (যেখানে $\hat{\beta}^*=W\hat{\beta}_\text{PC}$স্পষ্টতই), যাতে আপনি এটি মূল অনুমানকারীদের একটি ফাংশন হিসাবে লিখতে পারেন; 'উল্টোপাল্টা' বলতে আপনি এটাই বোঝাতে চেয়েছিলেন কিনা তা আমি জানি না, তবে এর মধ্যে মূল সম্পর্কটি দেখার অর্থপূর্ণ উপায়$y$ এবং $X$। এটি মূল এক্স এর অবশ্যই একটি রিগ্রেশন অনুমান করে যে সহগমনীয়দের সাথে মিল হয় তা নয় - এটি পিসিএ করে নিয়মিত করা হয়েছে; যদিও আপনি আপনার প্রতিটি মূল এক্স এর জন্য সহগ পেতে চান তবে তাদের কাছে কেবল আপনার লাগানো সংখ্যার ডিএফ রয়েছে।

মূল উপাদানগুলির প্রতিরোধের উইকিপিডিয়াও দেখুন ।