রিগ্রেশন ফ্রেমওয়ার্কে মেশিন লার্নিংয়ের সমস্যা অনুবাদ করা

Question

ধরুন আমি ব্যাখ্যামূলক ভেরিয়েবল একটি প্যানেল আছে , জন্য , , সেইসাথে বাইনারি ফলাফল নির্ভরশীল ভেরিয়েবল একটি ভেক্টর । সুতরাং কেবলমাত্র চূড়ান্ত সময়ে পর্যবেক্ষণ করা হয় এবং কোনও পূর্বের সময়ে নয়। সম্পূর্ণ সাধারণ ক্ষেত্রে জন্য একাধিক প্রতিটি ইউনিটের জন্য প্রতিবারের জন্য , তবে আসুন জন্য ক্ষেত্রে ফোকাস করি ।$X_{it}$$i = 1 ... N$$t = 1 ... T$$Y_{iT}$$Y$$T$$X_{ijt}$$j=1...K$$i$$t$$K=1$

টেম্পোরাল কোলেলেটেড ব্যাখ্যামূলক ভেরিয়েবলগুলির সাথে এই জাতীয় "ভারসাম্যহীন" জোড়াগুলির প্রয়োগগুলি হ'ল (দৈনিক স্টকের দাম, ত্রৈমাসিক লভ্যাংশ), (প্রতিদিনের আবহাওয়ার প্রতিবেদন, বার্ষিক হারিকেন) বা (প্রতিটি পদক্ষেপের পরে দাবা অবস্থানের বৈশিষ্ট্য, জয় / ক্ষতিতে ফলাফল গেমের সমাপ্তি)।$(X, Y)$

আমি পূর্বাভাস জন্য (সম্ভবত অ-রৈখিক) রিগ্রেশন সহগ -তে আগ্রহী , যে প্রশিক্ষণের ডেটাতে, জন্য প্রাথমিক পর্যবেক্ষণ দেওয়া হয়েছে , এটি চূড়ান্ত ফলাফলের দিকে নিয়ে যায়$\beta_t$$Y_{it}$$X_{it}$$t < T$$Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

একোনমেট্রিক্সের পটভূমি থেকে আসা, আমি এই জাতীয় ডেটাতে খুব বেশি রিগ্রেশন মডেলিং প্রয়োগ করতে দেখিনি। ওটিওএইচ, আমি নিম্নলিখিত মেশিন শেখার কৌশলগুলি এই জাতীয় ডেটাতে প্রয়োগ করা দেখেছি:

1. করছেন তত্ত্বাবধানে থাকা শেখার সমগ্র ডেটা সেট উপর, যেমন ছোট করা

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

কেবল দ্বারা extrapolating / আরোপিত হিসাবের পর্যবেক্ষিত সময় এর সমস্ত পূর্ববর্তী পয়েন্ট$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

এটি "ভুল" বোধ করে কারণ এটি সময়ে বিভিন্ন পয়েন্টের মধ্যে সাময়িক সম্পর্ককে বিবেচনায় নেবে না।

2. করছেন শক্তিবৃদ্ধি শেখার যেমন প্যারামিটার শেখার সময়গত-পার্থক্য যেমন এবং ডিসকাউন্ট প্যারামিটার , এবং যাও recursively জন্য সমাধানে থেকে শুরু ব্যাক প্রসারণ মাধ্যমে$\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

সঙ্গে এর গ্রেডিয়েন্ট থেকে সম্মান সঙ্গে ।$\nabla_{\beta} \hat{Y}$$f()$$\beta$

এটি আরও "সঠিক" বলে মনে হচ্ছে কারণ এটি অস্থায়ী কাঠামোটিকে অ্যাকাউন্টে গ্রহণ করে তবে পরামিতিগুলি এবং একধরণের "অ্যাডহক"।$\alpha$$\lambda$

প্রশ্ন : শাস্ত্রীয় পরিসংখ্যান / একনোমেট্রিক্স হিসাবে ব্যবহৃত তত্ত্বাবধান / পুনর্বহাল শেখার কৌশলগুলিকে কোনও রিগ্রেশন ফ্রেমওয়ার্কে ম্যাপ করবেন কীভাবে সেখানে সাহিত্য আছে? বিশেষত, আমি " একসাথে " (যেমন সমস্ত একই সাথে) সর্বনিম্ন-স্কোয়ার বা সর্বাধিক সম্ভাবনার দ্বারা প্যারামিটারগুলি অনুমান করতে সক্ষম হতে চাই যেমন মডেল উপর$\beta_{t}$$t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

আমি আরও শিখতে আগ্রহী যে অস্থায়ী পার্থক্য শেখার মেটা-প্যারামিটারগুলি- এবং সর্বাধিক সম্ভাবনার সূত্র থেকে পুনরুদ্ধার করা যায়।$\alpha$$\lambda$

Comments

আপনি কি তৃতীয় অনুচ্ছেদে সূত্রটি পরিষ্কার করতে পারবেন? আপনি লিখতে যে আপনার ভবিষ্যদ্বাণী করা করতে চান থেকে , , কিন্তু নিম্নলিখিত সূত্র প্রস্তাব করে যে আপনি ভবিষ্যদ্বাণী করা করতে চান । $Y_{iT}$$X_{it}$$t < T$$Y_{it}$

— এনআরএইচ

@NRH আসলে আমি শুধু পালন , কিন্তু কি আমি তত্ত্বাবধানে থাকা শেখার উপর সাহিত্যে দেখা করেছি যে, তারা হয় আরোপ অলক্ষিত সমান হতে এবং তারপর মানানসই না আসলে ব্যাখ্যা করতে এই জাল থেকে ( গেম অ্যাপ্লিকেশনগুলিতে করা হয়, যেখানে প্রতিটি পজিশনের জন্য একটি মূল্যায়ন ফাংশন গেমের চূড়ান্ত ফলাফলের সাথে লাগানো হয়)। দুঃখিত, এটি আমার প্রাথমিক সূচনা থেকে পরিষ্কার না হলে। যাই হোক, (খেলা অ্যাপ্লিকেশনগুলি) দেওয়া পর্যবেক্ষিত ঘটনা পূর্বাভাস "পরিণতির" হবে । $Y_{iT}$$Y_{it}$$Y_{iT}$$Y_{it}$$X_{it}$$\hat{Y}_{it}$$X_{it}$

— TemplateRex

আমি সেটআপটি এবং আপনি কী পর্যবেক্ষণ করেছেন তা বুঝতে পেরেছি তবে প্রশ্নটিতে আপনার গঠনটি অস্পষ্ট। আপনি পূর্বাভাসের জন্য একটি মডেল প্রশিক্ষণ দিতে চান আপনি শব্দের লিখতে, অথবা আপনি পূর্বাভাসের জন্য একটি মডেল প্রশিক্ষণ চাও যেমন সকলের জন্য হিসাবে সূত্র সুপারিশ? সম্ভবত এটি কেবল একটি টাইপো। আপনি যখন "… …" এর পূর্বাভাস লিখবেন তখন কি আপনার অর্থ "... এর ..." এর পূর্বাভাস ? $Y_{iT}$$Y_{it}$$t$$Y_{iT}$$Y_{it}$

— এনআরএইচ

আপনি কেন এটি করতে চান তা পরিষ্কার নয়। আপনি যদি বাস্তব ব্যবহারিক প্রয়োগটি ব্যাখ্যা করতে পারেন তবে আপনি আরও পরিষ্কার উত্তর পেতে পারেন। সাধারণভাবে, প্রতিটি timespan জন্য শ্রেষ্ঠ ভবিষ্যদ্বাণী মাত্র একটি রিগ্রেশন করছেন হবে প্রাপ্তিসাধ্য ডেটার উপর আলাদাভাবে প্রতিটি টন জন্য। একসাথে পদ্ধতির কোনও উপকার আছে তা স্পষ্ট নয়। আমি মনে করি আপনাকে আপনার ডেটা সেট করার জন্য পরিসংখ্যানের মডেলটি নির্দিষ্ট করতে হবে এবং তারপরে সম্ভবত সুবিধাগুলি আরও পরিষ্কার হবে। $Y_T$$X_1,\dots,X_t$

— seanv507

@ এনআরএইচ, হ্যাঁ, আমি থেকে সম্পর্কে ভবিষ্যদ্বাণী করতে চাই - জেনেও যে এটি পরীক্ষার ডেটাতে ফলাফলের দিকে নিয়ে যায় , যেখানে আমি observe পর্যবেক্ষণ করি কিন্তু ফলাফল এখনও পর্যবেক্ষণ করেনি। আমার সূত্র আপডেট করবে। $Y_{it}$$X_{it}$$Y_{iT}$$X_{it}$

— TemplateRex

Answer 1

সমস্যার বর্ণনা আমার কাছে সম্পূর্ণ পরিষ্কার নয় তাই আমি কিছু অনুমান অনুমান করার চেষ্টা করি। এটি যদি আপনার প্রশ্নের উত্তর না দেয় তবে কমপক্ষে সমস্যাগুলি আরও পরিষ্কার করতে সহায়তা করতে পারে।

প্রথম জিনিস যা আমার কাছে স্পষ্ট নয় তা হ'ল ডেটা আপনি নিজের ভবিষ্যদ্বাণীটি বজায় রাখতে চান। তুমি অনুমান করতে চান তাহলে পর্যন্ত পর্যবেক্ষিত ডেটার উপর ভিত্তি করে তারপর আপনার পদ্ধতি 2. হিসেবে একটি recursive পদ্ধতির অর্থে দেখা যায় না যেহেতু এই ভবিষ্যতে ডেটা ব্যবহার করবে, অর্থাত দিয়ে ।$Y_T$$t<T$$X_\tau$$\tau>t$

দ্বিতীয়টি আপনি আপনার ভবিষ্যদ্বাণী করা এর বৈশিষ্ট্যগুলি কী হবে তা করবেন না। সাধারণত, প্রদত্ত তথ্য সময়ে শর্তসাপেক্ষ প্রত্যাশা এল 2 অর্থে এর "সেরা ভবিষ্যদ্বাণী" । আপনি যদি সত্যিই শর্তসাপেক্ষ প্রত্যাশা করতে চান তবে সাধারণ ন্যূনতম স্কোয়ারগুলি ব্যবহারিক অনুমানের জন্য পছন্দ করার পদ্ধতি of$Y_t$$X_1,\ldots, X_t$$t<T$$Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$$Y_T$

তদ্ব্যতীত, উপর ভিত্তি করে রিগ্রেশন দ্বারা পারস্পরিক সম্পর্কগুলি প্রতিফলিত হচ্ছে না সে সম্পর্কে আপনার মন্তব্য আমি বুঝতে পারি না । এই সবকিছু যতক্ষণ না আপনি জানেন অন্তর্ভুক্ত আপনার পর্যবেক্ষণ মধ্যে সম্পর্ক খুঁজে পায় সহ।$X_1, \ldots, X_t$$t$

সুতরাং সংক্ষিপ্তসার হিসাবে এবং এটিকে একটি উত্তর হিসাবে বাক্যবৃত্তি: আপনি যদি L2 অর্থে কোনও অনুকূল ভবিষ্যদ্বাণী করতে চান তবে কেবলমাত্র অবধি পর্যবেক্ষণ করা তথ্যের উপর ভিত্তি করে আপনি সর্বনিম্ন স্কোয়ার রিগ্রেশন ব্যবহার করতে পারেন।$t<T$

Comments

প্রশিক্ষণের তথ্যগুলিতে, আমি এই সত্যটি ব্যবহার করতে চাই যে প্রদত্ত পর্যবেক্ষণটি পরিসংখ্যানগতভাবে ফলাফল এর দিকে নিয়ে যাবে যাতে টেস্টের ডেটা যেখানে আমি পর্যবেক্ষণ করি না তার জন্য ভবিষ্যদ্বাণী করা পরে পর্যন্ত। উদাহরণস্বরূপ, যদি আপনি জানেন যে 3 বাতাসের দিনের পরে সম্ভবত 7 দিনের দিকে বৃষ্টি হবে, আপনি কিছু তথ্য বাতাসের কয়েক দিন আগে সাপ্তাহিক ছুটির পরে লোককে ছাতা আনতে বলার জন্য এই তথ্যটি ব্যবহার করতে চান। $X_{it}$$Y_{iT}$$\hat{Y}_{it}$$Y_{iT}$

— TemplateRex

Answer 2

অস্থায়ী পার্থক্যের সুবিধা হ'ল তারা আপনাকে অসম্পূর্ণ পর্বগুলি থেকে শিখতে দেয়। সুতরাং, আপনি যে চূড়ান্তটি চূড়ান্ত ওয়াইতে পেলেন না সেগুলি এখনও মডেলটিকে ফিট করার জন্য ব্যবহার করা যেতে পারে; পরবর্তী অনুমান পরিবর্তে ব্যবহৃত হয়। প্রভাব লুকানো ডেটা ইমপুটেশন এর অনুরূপ; স্পষ্টতই আপনি আপনার বর্তমান মডেল অনুযায়ী সিকোয়েন্সের বাকী অংশ গণনা করছেন।
অস্থায়ী পার্থক্য মডেলগুলি সাধারণত স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত দ্বারা প্রশিক্ষিত হয় । শেখার হার নিয়ন্ত্রণ করে। খুব উঁচুতে এবং পদ্ধতিটি ডাইভারেজ করবে। খুব কম এবং একটি স্থানীয় সর্বোত্তম রূপান্তর খুব ধীর হবে। তবে রূপান্তর সবসময় একই মডেলের হওয়া উচিত। এখানে,γ γ = $\alpha$
$\gamma$পূর্বাভাসগুলিতে প্রদত্ত আপেক্ষিক প্রয়াস নিয়ন্ত্রণ করে যে তারা ক্রমের শেষ থেকে কতটা দূরে রয়েছে তার উপর নির্ভর করে। এই অনুক্রমগুলি দৈর্ঘ্যে সীমাবদ্ধ হওয়ায় আপনি সমস্ত অনুমানের ক্ষেত্রে একই ওজন রাখতে সেট করতে পারেন । $\gamma=1$

Comments

এটি সত্যই প্রশ্নের উত্তর দেয় না: উদাহরণস্বরূপ how এবং পরামিতি কীভাবে সর্বাধিক সম্ভাবনার কাঠামোর মধ্যে অনুকূলভাবে সেট করা যায়? $\alpha$$\gamma$

— TemplateRex

$\alpha$ কনভার্সনের গতি নিয়ন্ত্রণ করে তবে চূড়ান্ত মডেল বা model মডেলের সম্ভাবনার উপর কোনও প্রভাব ফেলতে পারে না। অনুশীলনে, আমি এটি পরীক্ষা এবং ত্রুটি দ্বারা সেট করেছি। আপনাকে সেট করতে হবে কারণ এটি স্বল্প মেয়াদী দীর্ঘমেয়াদী পূর্বাভাসের তুলনায় স্বল্প মেয়াদের আপেক্ষিক গুরুত্ব নিয়ন্ত্রণ করে যদি একই পরামিতিগুলি স্বল্প এবং দীর্ঘ ভবিষ্যদ্বাণী জুড়ে ব্যবহার করা হয়। আপনি ভবিষ্যদ্বাণীগুলির সাথে কী করতে চান তার উপর নির্ভর করে এটি অ্যাপ্লিকেশন নির্দিষ্ট হবে। $\gamma$

— nsweeney