নমুনা ছাড়াই উচ্চ-মাত্রিক ইনফারেন্স সমস্যায় অনিশ্চয়তার অনুমান?

Question

আমি একটি উচ্চ-মাত্রিক ইনফারেন্স সমস্যা (প্রায় 2000 মডেল প্যারামিটার) নিয়ে কাজ করছি যার জন্য আমরা গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজেশন এবং জেনেটিক অ্যালগরিদমের সংমিশ্রণ ব্যবহার করে লগ-পোস্টেরিয়রের গ্লোবাল সর্বাধিক সন্ধান করে ম্যাপের প্রাক্কলন দৃ rob়তার সাথে সক্ষম করতে পারি।

আমি এমএপি অনুমানটি সন্ধানের পাশাপাশি মডেল প্যারামিটারগুলিতে অনিশ্চয়তার কিছুটা আন্দাজ করতে সক্ষম হতে চাই very

আমরা প্যারামিটারগুলির সাথে সম্মতভাবে লগ-পোস্টেরিয়রের গ্রেডিয়েন্টকে দক্ষতার সাথে গণনা করতে সক্ষম হচ্ছি, এত দীর্ঘমেয়াদে আমরা হ্যামিলটোনিয়ান এমসিসিএমকে কিছু নমুনা তৈরি করতে ব্যবহার করার লক্ষ্য রেখেছি, তবে আপাতত আমি নন-স্যাম্পলিং ভিত্তিক অনুমানগুলিতে আগ্রহী।

আমি যে একমাত্র পদ্ধতির সাথে জানি তা হ'ল হেসিয়ান এর বিপরীত গণনাটি মোডে মাল্টিভারিয়েট স্বাভাবিক হিসাবে আনুমানিক হিসাবে গণ্য করা, তবে এমনকি এটি এত বড় সিস্টেমের জন্য অপরিহার্য বলে মনে হয়, যদিও আমরা গণনা করি চট আমি উপাদান নিশ্চিত আমরা তার বিপরীত খুঁজে পাইনি আছি।$\sim 4\times10^{6}$

এই জাতীয় ক্ষেত্রে সাধারণত কোন ধরণের পদ্ধতির ব্যবহার করা যায় তা কি কেউ পরামর্শ দিতে পারেন?

ধন্যবাদ!

সম্পাদনা - সমস্যা সম্পর্কিত অতিরিক্ত তথ্য

পটভূমি
এটি একটি বড় পদার্থবিজ্ঞানের পরীক্ষার সাথে সম্পর্কিত একটি বিপরীত-সমস্যা। আমাদের কাছে একটি 2 ডি ত্রিভুজাকার জাল রয়েছে যা কিছু শারীরিক ক্ষেত্রগুলিকে বর্ণনা করে এবং আমাদের মডেল পরামিতিগুলি জালের প্রতিটি শীর্ষে এই ক্ষেত্রগুলির দৈহিক মান। জালটির প্রায় 650 টি উল্লম্ব রয়েছে, এবং আমরা 3 টি ক্ষেত্রের মডেল করি, যাতে আমাদের 2000 মডেলের প্যারামিটারগুলি আসে।

আমাদের পরীক্ষামূলক তথ্যগুলি এমন যন্ত্রগুলি থেকে আসে যা সরাসরি এই ক্ষেত্রগুলি পরিমাপ করে না, তবে ক্ষেত্রগুলির জটিল অ-লিনিয়ার ফাংশনগুলির পরিমাণ are বিভিন্ন যন্ত্রের প্রত্যেকটির জন্য আমাদের একটি ফরোয়ার্ড-মডেল রয়েছে যা পরীক্ষামূলক তথ্যগুলির পূর্বাভাসগুলির জন্য মডেল পরামিতিগুলি মানচিত্র করে এবং ভবিষ্যদ্বাণী এবং পরিমাপের মধ্যে একটি তুলনা লগ-সম্ভাবনা দেয়।

এরপরে আমরা এই সমস্ত বিভিন্ন যন্ত্র থেকে লগ-সম্ভাবনার সংক্ষিপ্তকরণ করব এবং কিছু লগ-পূর্বের মান যুক্ত করব যা ক্ষেত্রগুলিতে কিছু শারীরিক বাধা প্রয়োগ করে।

ফলস্বরূপ আমি সন্দেহ করি যে এই 'মডেল' ঝরঝরেভাবে একটি বিভাগে পড়ে - আমাদের কাছে মডেল কী তা পছন্দ করার উপায় নেই, এটি আমাদের পরীক্ষামূলক ডেটা সংগ্রহ করার জন্য প্রকৃত যন্ত্রগুলি কীভাবে কাজ করে তা নির্ধারিত হয়।

ডেটা সেট
ডেটা সেটটি 500x500 চিত্রের সমন্বয়ে গঠিত এবং প্রতিটি ক্যামেরার জন্য একটি চিত্র রয়েছে তাই মোট ডেটা পয়েন্ট 500x500x4 = ।$10^6$

ত্রুটি মডেল
আমরা এই মুহূর্তে গাউসিয়ান হওয়ার সমস্যাটিতে সমস্ত ত্রুটি নিই। কিছু সময় আমি কেবল কিছু অতিরিক্ত নমনীয়তার জন্য একটি ছাত্র-টি ত্রুটি মডেলটিতে চলে যাওয়ার চেষ্টা করতে পারি, তবে জিনিসগুলি এখনও কেবল গাউসিয়ানদের সাথে ভালভাবে কাজ করছে বলে মনে হচ্ছে।

সম্ভাবনার উদাহরণ
এটি একটি প্লাজমা পদার্থবিজ্ঞানের পরীক্ষা এবং আমাদের প্রচুর উপাত্ত কেবলমাত্র আলোক বর্ণের নির্দিষ্ট অংশগুলিতে দেখার জন্য লেন্সগুলির সামনে নির্দিষ্ট ফিল্টারযুক্ত প্লাজমাটিতে নির্দেশিত ক্যামেরা থেকে আসে।

তথ্য পুনরুত্পাদন করতে দুটি পদক্ষেপ রয়েছে; প্রথমে আমাদের জাল উপরের প্লাজমা থেকে আগত আলোর মডেল করতে হবে, তারপরে আমাদের সেই আলোকে ক্যামেরার চিত্রটিতে ফিরে যেতে হবে।

দুর্ভাগ্যক্রমে প্লাজমা থেকে আগত আলোর মডেলিং নির্ভর করে কার্যকরভাবে রেট সহগগুলি কীসের উপর নির্ভর করে, যা বলছে ক্ষেত্রগুলি প্রদত্ত বিভিন্ন প্রক্রিয়া দ্বারা কত আলোকপাত হয়। এই হারগুলি কিছু ব্যয়বহুল সংখ্যাসূচক মডেল দ্বারা পূর্বাভাস দেওয়া হয়েছে, সুতরাং আমাদের গ্রিডগুলিতে তাদের আউটপুট সংরক্ষণ করতে হবে, এবং তারপরে মানগুলি দেখার জন্য ইন্টারপোলেট করতে হবে। রেট ফাংশন ডেটা কেবল একবারই গণনা করা হয় - আমরা কোডটি শুরু করার পরে আমরা এটি সংরক্ষণ করি এটি থেকে একটি স্প্লাইন তৈরি করি এবং তারপরে সেই স্প্লাইনটি সমস্ত ফাংশন মূল্যায়নের জন্য ব্যবহৃত হয়।

ধরুন এবং হার ফাংশন (আমরা ক্ষেপক দ্বারা নির্ণয় করা হয় যা), তারপর এ নির্গমন হয় 'জাল তম প্রান্তবিন্দু দেওয়া হয় যেখানে এমন 3 ক্ষেত্র যা আমরা জালের উপর মডেল করি। কোনও ক্যামেরা চিত্রে নির্গমনের ভেক্টর পাওয়া সহজ, এটি কেবলমাত্র একটি ম্যাট্রিক্স with দিয়ে গুণক যা প্রতিটি ক্যামেরা পিক্সেলের জালটির কোন অংশগুলি এনকোড করে।$R_1$$R_2$$i$$\mathcal{E}_i$

$$\mathcal{E}_i = R_1(x_i, y_i) + z_i R_2(x_i, y_i)$$ $(x,y,z)$$\mathbf{G}$

যেহেতু ত্রুটিগুলি গাউসিয়ান তাই এই নির্দিষ্ট ক্যামেরার লগ-সম্ভাবনা তখন then

$$\mathcal{L} = -\frac{1}{2} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})^{\top}\mathbf{\Sigma}^{-1} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})$$

যেখানে the হল ক্যামেরা ডেটা। মোট লগ-সম্ভাবনা উপরের এক্সপ্রেশনগুলির সমষ্টি 4 কিন্তু বিভিন্ন ক্যামেরার জন্য, যার সকলেরই রেট স্পেকট্রামের বিভিন্ন অংশের দিকে তাকাচ্ছে কারণ রেট ফাংশনের বিভিন্ন সংস্করণ রয়েছে ।$\vec{d}$$R_1, R_2$

পূর্ববর্তী উদাহরণে
আমাদের বিভিন্ন প্রিয়ার রয়েছে যা কার্যকরভাবে বিভিন্ন পরিমাণে কিছু নির্দিষ্ট ওপরের এবং নিম্ন সীমানা নির্ধারণ করে, তবে এগুলি সমস্যার উপর খুব দৃ strongly়তার সাথে কাজ করে না। আমাদের এমন একটি পূর্ববর্তী রয়েছে যা দৃ strongly়তার সাথে কাজ করে যা কার্যকরভাবে ক্ষেত্রগুলিতে ল্যাপ্লাসিয়ান ধরণের স্মুথিং প্রয়োগ করে। এটি একটি গাউসিয়ান রূপও গ্রহণ করে:

$$\text{log-prior} = -\frac{1}{2}\vec{x}^{\top}\mathbf{S}\vec{x} -\frac{1}{2}\vec{y}^{\top}\mathbf{S}\vec{y} -\frac{1}{2}\vec{z}^{\top}\mathbf{S}\vec{z}$$

Comments

আপনি কোন মডেল ফিট? লিনিয়ার রিগ্রেশন? জিপি? একটি শ্রেণিবদ্ধ গণনা মডেল? কম্পিউটার মডেল বায়েশিয়ান ক্যালিগ্রেশন? আপনি যে সমস্যার সমাধান করছেন সে সম্পর্কে দয়া করে আরও বিশদ যুক্ত করুন এবং আমি ষষ্ঠের পক্ষে এবং এর সাথে একটি উত্তর লিখব।

— ডেল্টাভিও

@ ডেলটাইভ আমি আরও কিছু তথ্যের সাহায্যে প্রশ্নটি আপডেট করেছি - এটি হতে পারে যে আপনি ঠিক কী সন্ধান করছেন সে সম্পর্কে আমি বিশদভাবে জানাতে পারি না। যদি তা হয় তবে আমাকে জানান এবং আমি আরেকটি সম্পাদনা করব, ধন্যবাদ!

— সিবউম্যান

পুনঃটুইট আরও তথ্য যুক্ত হয়েছে, আমি যুক্ত করতে পারি এমন আরও কিছু আছে কিনা তা আমাকে জানান।

— সিবউম্যান

@ ডেলটিআইভি ডেটা চিত্রগুলি 500x500 এবং প্রতিটি ক্যামেরার জন্য একটি করে তাই মোট ডেটা পয়েন্ট 500x500x4 = । রেট ফাংশন ডেটা কেবল একবারই গণনা করা হয় - কোডটি শুরু হওয়ার পরে আমরা এটি সংরক্ষণ করি তারপরে একটি স্প্লাইন তৈরি করি এবং তারপরে সেই স্প্লাইনটি সমস্ত ফাংশন মূল্যায়নের জন্য ব্যবহৃত হয়। $10^6$

— সি বউম্যান

আমার কাছে রেফারেন্স নেই তবে ম্যাট্রিক্স বিপরীত গণনা করার জন্য প্রচুর নিম্ন স্তরের আনুমানিকতা রয়েছে। উদাহরণস্বরূপ, বৃহত্তম ইগেনভ্যালুগুলি সন্ধান করুন, ধরে নিন যে বাকী সমান এবং কম ইগেনভ্যালু সম্পর্কিত ইগেনভেেক্টরগুলির জন্য মোটামুটি অনুমান ব্যবহার করুন। আমি নিশ্চিত যে আনুমানিক / পুনরাবৃত্তি কোলেস্কি পচন যা সঠিক মানকে রূপান্তর করে। সর্বাধিক সময়টি কী অপেক্ষা করার পরে কেবল পুনরাবৃত্তিগুলি সমাপ্ত করুন$k$$2000-k$

— সম্ভাব্যতা ব্লগ

Answer 1

প্রথমত, আমি মনে করি আপনার পরিসংখ্যানের মডেলটি ভুল। আমি পরিসংখ্যানবিদদের কাছে আরও পরিচিত একটিতে আপনার স্বরলিপিটি পরিবর্তন করি, এইভাবে যাক

$$\mathbf{d}=\mathbf{y}=(y_1,\dots,y_N),\ N=10^6$$

আপনার পর্যবেক্ষণের ভেক্টর (ডেটা) এবং be

$$\begin{align} \mathbf{x}&=\boldsymbol{\theta}=(\theta_1,\dots,\theta_p) \\ \mathbf{y}&=\boldsymbol{\phi}=(\phi_1,\dots,\phi_p) \\ \mathbf{z}&=\boldsymbol{\rho}=(\rho_1,\dots,\rho_p), \ p \approx 650 \\ \end{align}$$

আপনার প্যারামিটারগুলির ভেক্টরগুলি, মোট মাত্রা । তারপরে, আমি যদি সঠিকভাবে বুঝতে পারি তবে আপনি একটি মডেল ধরে নেন$d=3p \approx 2000$

$$\mathbf{y} = \mathbf{G}\mathbf{r_1}(\boldsymbol{\theta}, \boldsymbol{\phi})+\boldsymbol{\rho}\mathbf{G}\mathbf{r_2}(\boldsymbol{\theta}, \boldsymbol{\phi}))+\boldsymbol{\epsilon},\ \boldsymbol{\epsilon}\sim\mathcal{N}(0,I_N)$$

যেখানে হল গুণিত স্প্লাইন ইন্টারপোলেশন ম্যাট্রিক্স।$\mathbf{G}$$N\times d$

এটি স্পষ্টতই ভুল। একই ক্যামেরা থেকে চিত্রের বিভিন্ন পয়েন্টে ত্রুটিগুলি এবং একই সময়ে বিভিন্ন ক্যামেরার চিত্রগুলির একই পয়েন্টে স্বাধীন নেই। আপনার স্থানিক পরিসংখ্যান এবং মডেলগুলি যেমন সাধারণীকরণের ন্যূনতম স্কোয়ারগুলি, সেমিভারিওগ্রাম অনুমান, ক্রিগিং, গাউসিয়ান প্রসেসিস ইত্যাদির দিকে নজর দেওয়া উচিত etc.

---

বলার পরে, যেহেতু আপনার প্রশ্নটি নয় যে মডেলটি প্রকৃত ডেটা উত্পন্নকরণের প্রক্রিয়াটির একটি ভাল অনুমিত হয়, তবে এই জাতীয় মডেলটি কীভাবে অনুমান করা যায়, আমি আপনাকে এটি করতে কয়েকটি বিকল্প দেখাব।

ক্ষেত্রে HMC

2000 প্যারামিটারগুলি খুব বড় মডেল নয়, যদি না আপনি এই জিনিসটিকে ল্যাপটপে প্রশিক্ষণ দেন। ডেটাসেটটি বড় ( ডেটা পয়েন্ট), তবে এখনও, আপনি যদি জিপিইউ সহ মেঘের উদাহরণগুলি বা মেশিনগুলিতে অ্যাক্সেস পেয়ে থাকেন তবে পাইরো বা টেনসরফ্লো প্রব্যাবিলিটির মতো ফ্রেমওয়ার্কগুলি এ জাতীয় সমস্যার সংক্ষিপ্ত কাজ করবে make সুতরাং, আপনি কেবল জিপিইউ চালিত হ্যামিলটোনিয়ান মন্টি কার্লো ব্যবহার করতে পারেন।$10^6$

পেশাদারগুলি : চেন থেকে অসীম সংখ্যার নমুনার সীমাতে "নির্ভুল" অনুমান।

বিদ্রূপ : অনুমানের ত্রুটির উপর কোনও দৃ bound়ভাবে আবদ্ধ নয়, একাধিক রূপান্তর ডায়াগনস্টিক ম্যাট্রিক উপস্থিত রয়েছে তবে কোনওটিই আদর্শ নয়।

বড় আকারের নমুনা প্রায়

স্বরলিপি একটি অপব্যবহার সঙ্গে, দ্বারা এর বোঝাতে দিন ভেক্টর পরামিতি আপনার তিনটি ভেক্টর concatenating দ্বারা প্রাপ্ত। তারপর, Bayesian কেন্দ্রীয় সীমা উপপাদ্য (বার্নস্টেন-ভন মিসেস) ব্যবহার করে, আপনি অনুমান করতে পারে সঙ্গে , যেখানে "সত্য" প্যারামিটার মান হয় এর MLE অনুমান এবং ফিশার তথ্য ম্যাট্রিক্স এ মূল্যায়ন করা হয় । অবশ্যই, অজানা, আমরা$\theta$$p(\theta\vert \mathbf{y})$$\mathcal{N}(\hat{\theta_0}_n,I_n^{-1}(\theta_0))$$\theta_0$$\hat{\theta_0}_n$$\theta_0$$I_n^{-1}(\theta_0)$$\theta_0$$\theta_0$$I_n^{-1}(\hat{\theta_0}_n)$পরিবর্তে. বার্নস্টেইন-ভন মাইসেস উপপাদ্যের বৈধতা কয়েকটি অনুমানের উপর নির্ভর করে যা আপনি খুঁজে পেতে পারেন, ee g।, এখানে : আপনার ক্ষেত্রে, ধরে নেওয়া উচিত যে মসৃণ এবং তাত্ত্বিকটি বৈধ, কারণ গাউসির সমর্থন পূর্বে পুরো পরামিতি স্পেস। অথবা, ভাল, এটা হবে বৈধ, হতে আপনার ডেটা আসলে হিসাবে আপনি অনুমান IID করা হয়েছে, কিন্তু আমি বিশ্বাস করি না তারা যদি হিসাবে আমি প্রারম্ভে ব্যাখ্যা।$R_1,R_2$

পেশাদাররা : ক্ষেত্রে বিশেষত কার্যকর । আইডি সেটিং-এ, সঠিক রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত, যখন সম্ভাবনাটি মসৃণ এবং পৃথক হয় এবং পূর্ববর্তীটি আশেপাশে ননজারো হয় ।$p<<N$$\theta_0$

কনস : সবচেয়ে বড় কন, যেমনটি আপনি উল্লেখ করেছেন, ফিশারের তথ্য ম্যাট্রিক্সকে উল্টানো দরকার। এছাড়াও, আমি কীভাবে অনুমানের সঠিকতার বিচার করতে পারি তা বুঝতে পারি না, এমসিসিএম স্যাম্পলার ব্যবহার করে থেকে নমুনা আঁকতে হবে । অবশ্যই, এটি প্রথম স্থানে বি-ভিএম ব্যবহারের ইউটিলিটিটিকে পরাস্ত করবে।$p(\theta\vert \mathbf{y})$

বৈচিত্রগত অনুমান

এক্ষেত্রে, সঠিক (যার জন্য একটি মাপের অবিচ্ছেদ্য গণনার প্রয়োজন হবে ), আমরা i দিয়ে আনুমানিক পছন্দ করি যেখানে স্থিতিমাপ পরিবারের জন্যে প্যারামিটার ভেক্টর দ্বারা সূচীবদ্ধ । আমরা disc st এর সন্ধান করি যেহেতু এবং মধ্যে কিছুটা বৈষম্য হ্রাস করা হয়েছে। এই পরিমাপকে কেএল ডাইভারজেন্স হিসাবে বেছে নেওয়া, আমরা ভেরিয়েশনাল ইনফারেন্স পদ্ধতিটি পেয়েছি:$p(\theta\vert \mathbf{y})$$d-$$p$$q_{\phi}(\theta)$$q$$\mathcal{Q}_{\phi}$$\phi$$\phi^*$$q$$p$

$$\DeclareMathOperator*{\argmin}{arg\,min} \phi^*=\argmin_{\phi\in\Phi}D_{KL}(q_{\phi}(\theta)||p(\theta\vert\mathbf{y}))$$

উপর আবশ্যকতা :$q_{\phi}(\theta)$

• এটি ক্ষেত্রে হওয়া উচিত , যাতে আমরা সংক্ষিপ্তকরণ সমস্যার সমাধানের জন্য স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত যেমন বৃহত আকারের অপ্টিমাইজেশনের জন্য পদ্ধতিগুলি প্রয়োগ করতে পারি।$\phi$
• এটা নমনীয় যথেষ্ট এটি সঠিকভাবে অনুমান করতে পারে হওয়া উচিত কিছু মান , কিন্তু সহজ যথেষ্ট এটি থেকে নমুনা করা সহজ। এর কারণ কেএল ডাইভার্জেন (আমাদের অপ্টিমাইজেশন উদ্দেশ্য) অনুমান করার জন্য একটি প্রত্যাশা আর্ট অনুমান করা প্রয়োজন ।$p(\theta\vert\mathbf{y})$$\phi$$q$

আপনি সম্পূর্ণরূপে নির্ধারণের জন্য বেছে নিতে পারেন, অর্থাত্ ইউনিভারিয়েট সম্ভাব্যতা বিতরণের পণ্য :$q_{\phi}(\theta)$$d$

$$q_{\phi}(\theta)=\prod_{i=1}^d q_{\phi_i}(\theta_i)$$

এটি তথাকথিত গড়-ক্ষেত্রের ভেরিয়াল বেইস পদ্ধতি। ওয়ান (, দেখুন, যেমন অধ্যায় 10 প্রমাণ করতে পারেন এই বই ) যে কারণের মধ্যে প্রত্যেকের জন্য সন্তোষজনক সমাধান হয়$q_{\phi_j}(\theta_j)$

$$\log{q_j^*(\theta_j)} = \mathbb{E}_{i\neq j}[\log{p(\mathbf{y},\theta)}] + \text{const.}$$

যেখানে হ'ল প্যারামিটার এবং ডেটার সম্মিলিত বিতরণ (আপনার ক্ষেত্রে এটি আপনার গাউসিয় সম্ভাবনার এবং পরামিতিগুলির উপর গাউসীয় প্রিজনগুলির উত্পাদন) এবং প্রত্যাশা অন্যান্য ভিন্নতার ক্ষেত্রে সম্মানের সাথে univariate ডিস্ট্রিবিউশন । অবশ্যই যেহেতু কারণগুলির মধ্যে একটির জন্য সমাধান অন্যান্য সমস্ত কারণের উপর নির্ভর করে, তাই অবশ্যই আমাদের অবশ্যই পদ্ধতি প্রয়োগ করতে হবে, সমস্ত বিতরণ কিছু প্রাথমিক অনুমানের সাথে শুরু করতে হবে এবং তারপরে পুনরায় তাদের একটি আপডেট করতে হবে উপরের সমীকরণের সাথে একসাথে। নোট করুন যে উপরের প্রত্যাশাকে একটি হিসাবে গণনা করার পরিবর্তে$p(\mathbf{y},\theta)$$q_1^*(\theta_1),\dots,q_{j-1}^*(\theta_{j-1}),q_{j+1}^*(\theta_{j+1}),\dots,q_{d}^*(\theta_{d})$$q_{i}(\theta_{i})$$(d-1)-$মাত্রিক অবিচ্ছেদ্য, যা আপনার ক্ষেত্রে নিষিদ্ধ হবে যেখানে প্রিয়ার এবং সম্ভাবনা মিলিত হয় না, আপনি প্রত্যাশা আনুমানিক জন্য মন্টি কার্লো অনুমান ব্যবহার করতে পারেন।

গড় ক্ষেত্রের ভেরিয়াল বেইস অ্যালগরিদম কেবলমাত্র VI ষ্ঠ অ্যালগরিদমই আপনি ব্যবহার করতে পারবেন না: কিংমা অ্যান্ড ওয়েলিং, ২০১৪- তে উপস্থাপিত ভেরিয়েশনাল অটোনকোডারটি একটি আকর্ষণীয় বিকল্প, যেখানে সম্পূর্ণরূপে ফাংশনযুক্ত ফর্ম ধরে না নিয়ে জন্য , এবং তারপরে জন্য একটি বদ্ধ-রূপের বহিঃপ্রকাশটি প্রকাশ করা হয় , মাল্টিভিয়ারেট গাউসিয়ান হিসাবে ধরে নেওয়া হয় তবে প্রতিটি ডাটা পয়েন্টে সম্ভবত বিভিন্ন পরামিতি রয়েছে । অনুমানের ব্যয়কে আরও বাড়িয়ে তুলতে, একটি নিউরাল নেটওয়ার্ক বৈকল্পিক পরামিতি স্পেসে ইনপুট স্থানটি ম্যাপ করতে ব্যবহৃত হয়। অ্যালগরিদমের বিস্তারিত বিবরণের জন্য কাগজটি দেখুন: ভিএই বাস্তবায়নগুলি সমস্ত বড় ডিপ লার্নিং ফ্রেমওয়ার্কগুলিতে আবার উপলভ্য।$q$$q_i$$q$$N$

Comments

নির্ভুলতা ব্যবস্থার জন্য ভিবি স্বাধীনতা মডেল একটি ভয়ানক পদ্ধতির হতে পারে । এটি সাধারণত সামঞ্জস্য না করে প্লাগ-ইন টাইপের আনুমানিকের পরিমাণ amounts সহজ উদাহরণ আপনি সমন্বয় "স্বাধীন ডিগ্রীগুলির" ব্যবহার করছেন না এবং টি ডিস্ট্রিবিউশন পরিবর্তে স্বাভাবিক ব্যবহার করে। বিশেষত হাইপার প্যারামিটারগুলির জন্য একটি সমস্যা$s^2$

— সম্ভাব্যতাব্লোগিক

@ ডেলটিআইভি স্ট্যাটিস্টিকাল মডেলটি সাধারণত বেশ ভাল, আসলে বিভিন্ন ক্যামেরার মধ্যে ত্রুটিগুলি খুব বেশি স্বতন্ত্র এবং একই ক্যামেরায় থাকা বিভিন্ন পিক্সেলগুলি আক্ষরিক সংলগ্ন না হলে মূলত স্বাধীন হতে চলেছে। আমরা গাউসিয়ান-প্রক্রিয়া সম্ভাবনাটি ব্যবহার করে সংলগ্ন পিক্সেলগুলিতে কিছু স্থানিক সম্পর্ককে এনকোড করতে পারি, তবে এর জন্য আমাদের সরাসরি কোভরিয়েন্স ম্যাট্রিক্সটি উল্টাতে হবে বা প্রতিবার আমরা সম্ভাবনার মূল্যায়ন করতে চাইলে একটি বিচ্ছিন্ন রৈখিক সিস্টেমের সমাধান করতে হবে যা আরও অনেক বেশি ব্যয়বহুল (যদিও প্রশ্নের বাইরে নয়)।

— সিবউম্যান

Answer 2

আপনি কিছু "বায়েক্সএক্স" সফ্টওয়্যার এবং সম্ভবত "ইনলা" সফ্টওয়্যারটি পরীক্ষা করতে চাইতে পারেন। এই উভয়েরই কিছু ধারণা থাকতে পারে যা আপনি চেষ্টা করতে পারেন। গুগলে খোজুন

উভয়ই নির্ভুলতা ম্যাট্রিক্সের প্যারামিটারাইজেশন (অর্থাত্ শর্তাধীন স্বাধীনতা, মার্কভ টাইপ মডেল) এর স্পারসিটি শোষণের উপর খুব বেশি নির্ভর করে - এবং এর জন্য নকশাকৃত বিপরীত অ্যালগরিদম রয়েছে। বেশিরভাগ উদাহরণগুলি মাল্টি লেভেল বা অটো রিগ্রসিটিভ গাসিয়ান মডেলগুলির উপর ভিত্তি করে। আপনার পোস্ট করা উদাহরণের সাথে মোটামুটি মিল থাকতে হবে