বায়েশিয়ান নেটওয়ার্ক থেকে নিউরাল নেটওয়ার্কগুলিতে: মাল্টিভারিয়েট রিগ্রেশন কীভাবে মাল্টি-আউটপুট নেটওয়ার্কে স্থানান্তরিত হতে পারে

Question

আমি এখানে একটি বায়সিয়ান হায়ারার্কিকাল লিনিয়ার মডেলটির সাথে কাজ করছি , এখানে নেটওয়ার্ক এটি বর্ণনা করছে।

$Y$ একটি সুপারমার্কেটে (পণ্য পর্যবেক্ষণ) পণ্যগুলির দৈনিক বিক্রয়কে উপস্থাপন করে।

$X$ মূল্য, প্রচার, সপ্তাহের দিন, আবহাওয়া, ছুটির দিন সহ রেজিস্ট্রারগুলির একটি পরিচিত ম্যাট্রিক্স।

$S$ হ'ল প্রতিটি পণ্যের অজানা সুপ্ত ইনভেন্টরি স্তর, যা সবচেয়ে বেশি সমস্যার সৃষ্টি করে এবং যা আমি বাইনারি ভেরিয়েবলগুলির একটি ভেক্টর হিসাবে বিবেচনা করি, প্রতিটি পণ্যের জন্য নির্দেশ করে স্টকআউট এবং তাই পণ্যটির অপ্রাপ্যতা। এমনকি তাত্ত্বিকভাবে অজানা থাকলেও আমি প্রতিটি পণ্যের জন্য এইচএমএমের মাধ্যমে এটি অনুমান করেছিলাম, তাই এটি এক্স হিসাবে পরিচিত হিসাবে বিবেচিত হবে proper আমি কেবল সঠিক আনুষ্ঠানিকতার জন্য এটিকে সরিয়ে আনার সিদ্ধান্ত নিয়েছি।$1$

$\eta$ হ'ল যে কোনও একক পণ্যের জন্য একটি মিশ্র প্রভাব প্যারামিটার যেখানে বিবেচিত মিশ্র প্রভাবগুলি পণ্যের মূল্য, প্রচার এবং স্টকআউট out

খ 1 খ $\beta$ , স্থায়ী রিগ্রেশন কোফিসিয়েন্টস এর ভেক্টর থাকাকালীন এবং মিশ্র প্রভাব সহগের ভেক্টর হয়। এক গ্রুপ ইঙ্গিত ব্র্যান্ড এবং অন্যান্য ইঙ্গিত গন্ধ (এই একটি উদাহরণ, বাস্তবে আমি অনেক গ্রুপ আছে, কিন্তু আমি এখানে মাত্র 2 স্বচ্ছতার জন্য প্রতিবেদন)।$b_1$$b_2$

Σ বি 1 Σ বি $\Sigma_{\eta}$ , এবং মিশ্র প্রভাবগুলির উপর হাইপারপ্যারামিটার।$\Sigma_{b_1}$$\Sigma_{b_2}$

যেহেতু আমার কাছে গণনা সম্পর্কিত ডেটা রয়েছে তা বলা যাক যে আমি প্রতিটি পণ্য বিক্রয়কে রেজিস্ট্রারগুলিতে শর্তযুক্ত বিতরণ হিসাবে বিবেচনা করি (এমনকি কিছু পণ্যের ক্ষেত্রে লিনিয়ার আনুমানিকতা রাখে এবং অন্যদের জন্য শূন্য স্ফীত মডেল আরও ভাল)। এরকম ক্ষেত্রে আমার একটি পণ্য জন্য থাকতে হবে ( এটি কেবল বেইসিয়ান মডেলটিতে নিজেরাই আগ্রহী তাদের জন্য, আপনি যদি এটি উদ্বেগহীন বা তুচ্ছ মনে করেন তবে প্রশ্নটি বাদ দিন :) ):$Y$

$\Sigma_{\eta} \sim IW(\alpha_0,\gamma_0)$

$\Sigma_{b_1} \sim IW(\alpha_1,\gamma_1)$

α 0 , γ 0 , α 1 , γ 1 , α 2 , γ $\Sigma_{b_2} \sim IW(\alpha_2,\gamma_2)$ , পরিচিত।$\alpha_0,\gamma_0,\alpha_1,\gamma_1,\alpha_2,\gamma_2$

$\eta \sim N(\mathbf{0},\Sigma_{\eta})$

$b_1 \sim N(\mathbf{0},\Sigma_{b_1})$

$b_2 \sim N(\mathbf{0},\Sigma_{b_2})$

Σ $\beta \sim N(\mathbf{0},\Sigma_{\beta})$ , পরিচিত।$\Sigma_{\beta}$

$\lambda _{tijk} = \beta*X_{ti} + \eta_i*X_{pps_{ti}} + b_{1_j} * Z_{tj} + b_{2_k} Z_{tk}$ ,

$Y_{tijk} \sim Poi(exp(\lambda_{tijk}))$

j ∈ 1 , … , মি 1 কে ∈ 1 , … , মি $i \in {1,\dots,N}$ , ,$j \in {1,\dots,m_1}$$k \in {1,\dots,m_2}$

এক্স পি পি এস আই আই ডাব্লু জেড আই জেড আই = এক্স আই σ আই জে আই $Z_i$ জন্য মিশ্রিত প্রভাবগুলির ম্যাট্রিক্স, মূল্য, প্রচার এবং বিবেচিত পণ্যের নির্দেশ করে। বিপরীত উইশার্ট বিতরণকে নির্দেশ করে, সাধারণত সাধারণ মাল্টিভারিয়েট প্রিয়ারদের কোভারিয়ান্স ম্যাট্রিক্সের জন্য ব্যবহৃত হয়। তবে এটি এখানে গুরুত্বপূর্ণ নয়। সম্ভাব্য উদাহরণ সমস্ত দামের ম্যাট্রিক্স হতে পারে, বা আমরা বলতে । মিশ্র-প্রভাবগুলির ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্সের জন্য প্রিয়ারদের হিসাবে, আমি কেবল এন্ট্রিগুলির মধ্যে পারস্পরিক সম্পর্ক রক্ষার চেষ্টা করব, যাতে and positive ইতিবাচক হবে যদি এবং একই ব্র্যান্ডের বা পণ্য হয়ে থাকি একই স্বাদ। $X_{pps_i}$$IW$$Z_i$$Z_i=X_i$$\sigma_{ij}$$i$$j$

এই মডেলের পিছনে স্বজ্ঞাততাটি হ'ল কোনও প্রদত্ত পণ্যের বিক্রয় তার দামের উপর, তার প্রাপ্যতাটি বা না-ও নির্ভর করে, তবে অন্যান্য সমস্ত পণ্যের দাম এবং অন্যান্য সমস্ত পণ্যের স্টকআউটগুলির উপর নির্ভর করে। যেহেতু আমি সমস্ত সহগতির জন্য একই মডেল (পড়ুন: একই রিগ্রেশন কার্ভ) রাখতে চাই না, তাই আমি মিশ্রিত প্রভাবগুলি পরামিতি ভাগ করে আমার ডেটাতে থাকা কিছু গোষ্ঠীর শোষণ করে introduced

আমার প্রশ্নগুলি হ'ল:

2. নিউরাল নেটওয়ার্ক আর্কিটেকচারে এই মডেলটি স্থানান্তর করার কোনও উপায় আছে কি? আমি জানি যে বায়সিয়ান নেটওয়ার্ক, মার্কভ র্যান্ডম ফিল্ডস, বায়সিয়ান হায়ারারিকিকাল মডেল এবং নিউরাল নেটওয়ার্কগুলির মধ্যে সম্পর্কের সন্ধানের জন্য অনেকগুলি প্রশ্ন রয়েছে তবে আমি বেয়েসিয়ান হায়ারার্কিকাল মডেল থেকে নিউরাল নেট-তে যেতে কিছু পাইনি। আমি নিউরাল নেটওয়ার্ক সম্পর্কে প্রশ্ন জিজ্ঞাসা করছি, আমার সমস্যার উচ্চ মাত্রা (আমার বিবেচনা করুন 340 টি পণ্য রয়েছে), এমসিমিসির মাধ্যমে প্যারামিটার অনুমানটি কয়েক সপ্তাহ সময় নেয় (আমি রানজাগে সমান্তরাল চেইনে চলমান 20 টি পণ্যের জন্য চেষ্টা করেছিলাম এবং বেশ কয়েকদিন সময় লেগেছিল) । তবে আমি এলোমেলোভাবে যেতে চাইছি না এবং কেবল একটি ব্ল্যাক বক্স হিসাবে নিউরাল নেটওয়ার্কে ডেটা দেব। আমি আমার নেটওয়ার্কের নির্ভরতা / স্বাধীনতা কাঠামোটি কাজে লাগাতে চাই।

এখানে আমি একটি নিউরাল নেটওয়ার্ক স্কেচ করেছি। আপনি দেখুন, regressors ( এবং যথাক্রমে মূল্য এবং পণ্যের stockout ইঙ্গিত উপরের গোপন স্তরে ইনপুট করা হয়) হিসাবে যারা হয় পণ্যের নির্দিষ্ট (এখানে আমি বিবেচিত দাম এবং stockouts)। S i$P_i$$S_i$$i$Y 1 Y 2 Y 3(নীল এবং কালো প্রান্তগুলির কোনও বিশেষ অর্থ নেই, এটি চিত্রটি আরও স্পষ্ট করার জন্য ছিল)। উপরন্তু এবং অত্যন্ত যখন সম্পর্কিত করা যেতে পারে$Y_1$$Y_2$$Y_3$সম্পূর্ণ ভিন্ন পণ্য হতে পারে (2 কমলা রস এবং রেড ওয়াইন সম্পর্কে ভাবেন), তবে আমি নিউরাল নেটওয়ার্কগুলিতে এই তথ্যটি ব্যবহার করি না। আমি বিস্মিত হই যে গ্রুপিংয়ের তথ্যটি কেবল ওজন ইনজায়ালাইজেশনে ব্যবহার করা হয় বা যদি কেউ কোনও সমস্যাটিকে নেটওয়ার্ক অনুকূলিত করতে পারে।

আমার ধারণাটি সম্পাদনা করুন:

আমার ধারণাটি এরকম কিছু হবে: আগের মতো, এবং পারস্পরিক সম্পর্কযুক্ত পণ্য, যখন সম্পূর্ণ ভিন্ন। এটি একটি অগ্রাধিকার জেনে আমি 2 টি কাজ করি:Y 2 Y $Y_1$$Y_2$$Y_3$

1. আমি গোপন স্তরের কিছু নিউরনকে আমার যে কোনও গ্রুপে আমার 2 টি গোষ্ঠী রয়েছে ( ), ( )}}Y $Y_1,Y_2$$Y_3$
2. আমি ইনপুট এবং বরাদ্দ নোডগুলির (সাহসী প্রান্ত) মধ্যে উচ্চতর ওজন সূচনা করি এবং অবশ্যই বাকী 'এলোমেলো' তথ্যগুলিতে ক্যাপচারের জন্য আমি অন্যান্য লুকানো নোড তৈরি করি।

আপনার সাহায্যের জন্য অগ্রিম ধন্যবাদ

Comments

@ টমাসো গেরিনির আপনার পক্ষে উত্তরটি এখানেই সম্ভব: stats.stackexchange.com/questions/4498/…

— আন্তন ড্যানিলভ

ধন্যবাদ @ অ্যান্টনডানিলভ, দুর্ভাগ্যক্রমে গৃহীত উত্তরটি বলেছে যে 'নিউরাল নেটওয়ার্কগুলি যখন "গ্রাফ" নিয়ে আসে তারা সাধারণত নির্ভরতার তথ্য এনকোড করে না এবং নোডগুলি এলোমেলো ভেরিয়েবলের প্রতিনিধিত্ব করে না: /

— টমমাসো গেরিণী

আপনি স্ট্যান ব্যবহার করে দেখেছেন , নাকি এটি আপনার সমস্যার জন্য সম্ভব নয়? হ্যামিলটোনীয় মন্টি কার্লো গীবস নমুনার চেয়ে দ্রুততরতার অর্ডার হতে পারে এবং কয়েকশ (বা হাজার হাজার) ভেরিয়েবলের কাছে ভাল পরিমাণে আঁকতে পারে।

— lacerbi

আপনি কি স্ট্যান ব্যবহারকারীদের মেলিং তালিকায় একই প্রশ্ন (গুলি) পোষ্ট করার চেষ্টা করেছেন ? তারা সাধারণত একটি মডেল কাজ করতে প্রযুক্তিগত দিক সঙ্গে অত্যন্ত সহায়ক। উদাহরণস্বরূপ, এটি সম্ভব যে আপনার ক্ষেত্রে সমস্যাগুলি আরও ভাল পরামিতি দ্বারা সমাধান করা যেতে পারে। ( হ্যামিলটোনীয় মন্টে কার্লো

— গীবস

সম্ভবত আমি এই মেইলিং লিস্টটি স্প্যাম করে বলা আরও ভাল .. যাইহোক আপনাকে ধন্যবাদ লুইগি .. আমি এমন পরিস্থিতিতে আছি যেখানে আমার যতটা সমস্যা রয়েছে তার খোঁজ করার মতো আমার আর সময় নেই, যেহেতু আমার আগত সময়সীমা রয়েছে। এটি স্ট্যানের মতো দুর্দান্ত সরঞ্জাম বলে মনে হচ্ছে তবে এর অবিশ্বাস্য পারফরম্যান্সটি উপলব্ধি করতে শেখার বক্ররেখাটি কিছুটা খাড়া ((এখন পর্যন্ত আমি এর গতি জাগ্রত জেএজিএস বুঝতে পেরেছি)

— টমাসো গেরিনি

Answer 1

রেকর্ডের জন্য, আমি এটিকে উত্তর হিসাবে দেখছি না, তবে কেবল একটি দীর্ঘ মন্তব্য! ধাতু রডের মাধ্যমে তাপের প্রবাহকে মডেল করতে ব্যবহৃত PDE (হিট সমীকরণ) এছাড়াও বিকল্প মূল্য মডেল করতে ব্যবহৃত হতে পারে। আমি জানি এমন কেউই কখনও প্রতি মূল্য বিকল্প এবং তাপ প্রবাহের মধ্যে সংযোগ দেওয়ার পরামর্শ দেওয়ার চেষ্টা করেনি। আমার মনে হয় ড্যানিলভের লিঙ্ক থেকে উদ্ধৃতি একই কথা বলছে। বায়েশিয়ান গ্রাফ এবং নিউরাল নেট উভয় গ্রাফের ভাষা তাদের বিভিন্ন অভ্যন্তরীণ টুকরোগুলির মধ্যে সম্পর্কের প্রকাশ করতে ব্যবহার করে। যাইহোক, বায়সিয়ান গ্রাফগুলি ইনপুট ভেরিয়েবলগুলির পারস্পরিক সম্পর্কের কাঠামো সম্পর্কে একটি বলে এবং একটি নিউরাল নেট এর গ্রাফ ইনপুট ভেরিয়েবলগুলি থেকে কীভাবে পূর্বাভাস ফাংশন তৈরি করতে হয় সে সম্পর্কে বলে। এগুলি খুব আলাদা জিনিস।
ডিএল-এ ব্যবহৃত বিভিন্ন পদ্ধতি সর্বাধিক গুরুত্বপূর্ণ ভেরিয়েবলগুলি 'চয়ন' করার চেষ্টা করে, তবে এটি একটি অভিজ্ঞতা অভিজ্ঞতা। এটি ভেরিয়েবলের পুরো সেট বা বাকি ভেরিয়েবলগুলির পারস্পরিক সম্পর্ক কাঠামো সম্পর্কেও কিছু জানায় না। এটি কেবলমাত্র প্রস্তাব দেয় যে বেঁচে থাকা ভেরিয়েবলগুলি ভবিষ্যদ্বাণীগুলির জন্য সর্বোত্তম। উদাহরণস্বরূপ, যদি কেউ নিউরাল নেটগুলিতে নজর রাখে তবে একজনকে জার্মান ক্রেডিট ডেটা সেট করতে পরিচালিত করা হবে, যা যদি আমি সঠিকভাবে স্মরণ করি, 2000 ডাটা পয়েন্ট এবং 5 নির্ভরশীল ভেরিয়েবলগুলি। পরীক্ষার এবং ত্রুটির মাধ্যমে আমি মনে করি আপনি দেখতে পাবেন যে কেবল 1 টি লুকানো স্তরযুক্ত নেট এবং মাত্র 2 টি ভেরিয়েবল ব্যবহার করে পূর্বাভাসের জন্য সর্বোত্তম ফলাফল দেয়। যাইহোক, কেবলমাত্র সমস্ত মডেল তৈরি করে এবং এটি স্বাধীন টেস্টিং সেটে পরীক্ষা করেই এটি আবিষ্কার করা যায়।

Comments

বিভিন্ন ডেটাতে একই মডেলের প্রয়োগের সাথে আমি আপনার তুলনা পাই না: এখানে ডেটা একই এবং মডেল অন্যভাবে নয় অন্যরকম। তদুপরি আমি নিউরাল নেট ব্যবহার করে আমার ভেরিয়েবলের সম্পর্ক সম্পর্কিত কাঠামোর উপর নজর রাখার চেষ্টা করছি না, এটি বেইসিয়ান পোস্টেরিয়ার্স অনুমানের মাধ্যমে ইতিমধ্যে ভালভাবে অর্জন করা হয়েছে। গ্রাফটি হায়ারারিকিকাল মডেলটিতে কী ঘটেছিল তা চিত্রিত করার জন্য ছিল, সুতরাং আমি 'গ্রাফগুলির ভাষা' জিনিসটি বুঝতে পারি না (তবুও আমি আপনাকে শিরোনাম দিয়ে বিভ্রান্ত করতে পারি, তবে আমার একটি আকর্ষণীয় দরকার ছিল: ডি)

— টমমাসো গেরিনি

এবং সম্ভবত আমি আপনার প্রশ্ন বুঝতে পারি না। আমি এখনও মনে করি বিন্দুটি হ'ল দুটি গ্রাফ স্ট্রাকচারে যেভাবে প্রান্তগুলি তৈরি করা হয়েছে তার একে অপরের সাথে কোনও সম্পর্ক নেই। একটি নির্দিষ্ট প্রান্ত এবং ওজন একটি সেট সঙ্গে একটি নিউরাল নেট সংজ্ঞায়িত করতে পারে, কিন্তু এই জাতীয় নেট হয় সঠিক বা দরকারী হবে যে কেউ ভাবার কোন কারণ নেই। নিউরাল নেট তৈরির হৃদয়টি হ'ল ব্যাক-বর্ধনের মতো কিছু ব্যবহার করা যাতে ডেটাগুলি 'সঠিক' ওজন নির্ধারণ করতে দেয়।

— meh

"গ্রাফিকটি হায়ারারিকাল মডেলটিতে কী ঘটেছিল তা চিত্রিত করার জন্য ছিল" " আমরা সম্মত হই যে একটি ক্ষেত্রে আমরা সমবায় কাঠামো সংজ্ঞায়িত করি এবং মডেলটি খুব ভালভাবে একটি পোস্টেরিয়েরি হিসাবে ব্যাখ্যাযোগ্য হয়, অন্যদিকে আমরা গ্রেডিয়েন্ট বংশোদ্ভূত কাজটি করতে দেই এবং এমনকি এটি সাধারণত ব্যাখ্যাযোগ্য না হলেও (আমার ক্ষেত্রে যেমন) ভাল পারফরম্যান্সের ফলাফল দেয়। আমার প্রশ্নটি: ভবিষ্যদ্বাণী করা পারফরম্যান্স হারাতে না পারার জন্য ব্যাখ্যাযোগ্যতা অর্জনের কোনও উপায় আছে কি? এই কারণেই আমি এটি স্ট্যাকের বিষয়ে জিজ্ঞাসা করেছি এবং সে কারণেই আমি সম্পাদনাটিতে সেই ধারণাটির প্রস্তাব দিই, আমি ধারণাগুলি খুঁজছি। আমি আশা করি এটি এখন আপনার কাছে পরিষ্কার হয়ে গেছে

— টমমাসো গেরিণী

কেউ নেতিবাচক প্রমাণ করতে পারে না, তাই আমি নির্ধারিতভাবে বলতে পারি না যে বায়েশিয়ান নেটওয়ার্কগুলির গ্রাফ এবং নিউরাল নেটগুলির গ্রাফগুলির মধ্যে কোনও যোগাযোগ নেই। আমি বলতে পারি যে এ জাতীয় সংযোগ সম্পর্কে আমার কোনও জ্ঞান নেই এবং আমি কোনও সংযোগ সম্পর্কে গভীর সন্দেহবাদী। নিউরাল নেটওয়ার্কের জন্য গ্রাফ স্ট্রাকচার দেওয়ার জন্য কেউ বাইয়েশিয়ান নেটওয়ার্কের গ্রাফ স্ট্রাকচার ব্যবহার করতে পারে, স্নায়বিক নেটওয়ার্কের দৃষ্টিকোণ থেকে এটি যুক্তিসঙ্গত বলে মনে হয় না। বিশদটি নিয়ে কাজ করার জন্য আমার কাছে এখন সময় নেই, তবে একটি চিন্তার পরীক্ষা হিসাবে এমন একটি ডেটা সেট কল্পনা করুন যেখানে স্বতন্ত্র ভেরিয়েবলগুলি স্থিতিশীলভাবে ছিল

— মে

বিশদটি নিয়ে কাজ করার জন্য আমার কাছে এখন সময় নেই, তবে একটি চিন্তার পরীক্ষার হিসাবে এমন একটি ডেটা সেট কল্পনা করুন যেখানে স্বতন্ত্র ভেরিয়েবলগুলি সমস্ত পরিসংখ্যানগতভাবে তাত্পর্যপূর্ণ ছিল, তবে সবগুলি সংযুক্ত ছিল না। উদাহরণস্বরূপ $y = \sum x_i + \sum z_i$$z_i = A \times \sigma^{-1}(x_i)$$\sigma$$z_i$প্রায় শূন্য। তবুও তাদের কোনও ভাল মডেলের অংশ হওয়া উচিত।

— মেহ