একটি overparameterized মডেল জন্য ফিশার তথ্য ম্যাট্রিক্স নির্ধারক


10

প্যারামিটার (সাফল্যের সম্ভাবনা) সহ একটি বার্নৌলির এলোমেলো পরিবর্তনশীল Consider বিবেচনা করুন । সম্ভাবনা ফাংশন এবং ফিশারের তথ্য (একটি ম্যাট্রিক্স):X{0,1}θ1×1

L1(θ;X)=p(X|θ)=θX(1θ)1XI1(θ)=detI1(θ)=1θ(1θ)

এখন দুটি পরামিতি সহ একটি "ওভার-প্যারামিটারাইজড" সংস্করণটি বিবেচনা করুন: সাফল্যের সম্ভাবনা θ1 এবং ব্যর্থতার সম্ভাবনা θ0 । (দ্রষ্টব্য যে θ1+θ0=1 , এবং এই সীমাবদ্ধতা সূচিত করে যে প্যারামিটারগুলির মধ্যে একটি অপ্রয়োজনীয়)) এই ক্ষেত্রে সম্ভাবনা ফাংশন এবং ফিশারের তথ্য ম্যাট্রিক্স (এফআইএম) হ'ল:

L2(θ1,θ0;X)=p(X|θ1,θ0)=θ1Xθ01XI2(θ1,θ0)=(1θ1001θ0)detI2(θ)=1θ1θ0=1θ1(1θ1)

লক্ষ্য করুন যে এই দুটি এফআইএমের নির্ধারকগুলি অভিন্ন। তদুপরি, এই সম্পত্তি শ্রেণিবদ্ধ মডেলগুলির (যেমন দুটি রাজ্যের বেশি) আরও সাধারণ ক্ষেত্রে প্রসারিত। এটি প্যারামিটারগুলির বিভিন্ন উপসর্গ শূন্য বলে মনে করে লগ-লিনিয়ার মডেলগুলিতে প্রসারিত হবে বলে মনে হয়; এই ক্ষেত্রে অতিরিক্ত "রিলান্ড্যান্ট" পরামিতি লগ পার্টিশন ফাংশনের সাথে মিলে যায় এবং দুটি এফআইএম নির্ধারকের সমতুল্য বৃহত্তর এফআইএম এর শুর পরিপূরকের ভিত্তিতে প্রদর্শিত হতে পারে । (প্রকৃতপক্ষে, লগ-লিনিয়ার মডেলগুলির জন্য ছোট এফআইএম হ'ল বড় এফআইএমের কেবল শ্রুর পরিপূরক।)

কেউ কি ব্যাখ্যা করতে পারবেন যে এই সম্পত্তিটি প্যারামিটারিক মডেলের একটি বৃহত্তর সেটগুলিতে প্রসারিত হয়েছে (যেমন সমস্ত ক্ষতিকারক পরিবারগুলিতে), এই জাতীয় "বর্ধিত" পরামিতিগুলির উপর ভিত্তি করে এফআইএম নির্ধারণকারীদের বিকল্পের অনুমতি দেয়? অর্থ্যাৎ যে কোনও প্রদত্ত পরিসংখ্যানের মডেলটিকে প্যারামিটারগুলির সাথে ধরে রাখুন যা একটি ডাইমেনশনাল ম্যানিফোল্ডের সাথে একটি -মাত্রিক জায়গাতে এমবেড করা রয়েছে। এখন, যদি আমরা আরও একটি মাত্রা (যা অন্যদের উপর ভিত্তি করে সম্পূর্ণ সীমাবদ্ধ হয়) অন্তর্ভুক্ত করার জন্য প্যারামিটারগুলির সেটটি প্রসারিত করি এবং সেগুলি পরামিতিগুলির উপর ভিত্তি করে FIM গণনা করি, তবে আমরা কি সর্বদা মূলের উপর ভিত্তি করে একই নির্ধারক পাব? (স্বতন্ত্র) পরামিতি? এছাড়াও, এই দুটি এফআইএম কীভাবে সম্পর্কিত?nn(n+1)(n+1)n

আমি এই প্রশ্নটি জিজ্ঞাসা করার কারণটি হ'ল অতিরিক্ত প্যারামিটার সহ এফআইএম প্রায়শই সহজ প্রদর্শিত হয়। আমার প্রথম চিন্তাটি এটি সাধারণভাবে কাজ করা উচিত নয়। এফআইএম প্রতিটি প্যারামিটারের লগের সম্ভাবনা কমিয়ে আংশিক ডেরাইভেটিভগুলি জড়িত। এই আংশিক ডেরাইভেটিভগুলি ধরে নিয়েছে যে, প্রশ্নগুলির পরামিতি পরিবর্তিত হওয়ার সাথে সাথে অন্যান্য সমস্ত পরামিতিগুলি স্থির থাকে, যা আমরা অতিরিক্ত (সীমাবদ্ধ) প্যারামিটারের সাথে যুক্ত করলে সত্য হয় না। এই ক্ষেত্রে, আমার কাছে মনে হয় যে আংশিক ডেরিভেটিভগুলি আর বৈধ নয় কারণ আমরা অনুমান করতে পারি না যে অন্যান্য পরামিতিগুলি স্থির; তবে, আমি এখনও প্রমাণ পাইনি যে এটি আসলে একটি সমস্যা। (যদি নির্ভরশীল পরামিতিগুলির ক্ষেত্রে আংশিক ডেরিভেটিভস সমস্যাযুক্ত হয় তবে মোট ডেরিভেটিভস(n+1)×(n+1)পরিবর্তে প্রয়োজন? আমি এখনও মোট ডেরাইভেটিভসের সাথে এফআইএম কম্পিউটিংয়ের উদাহরণ দেখিনি, তবে সম্ভবত এটিই সমাধান ...)

অনলাইনে আমি অনলাইনে খুঁজে পেলাম যা এ জাতীয় "বর্ধিত" পরামিতিগুলির উপর ভিত্তি করে এফআইএমকে গণনা করে তা নিম্নলিখিত: এই নোটগুলিতে যথাযথভাবে প্রয়োজনীয় আংশিক ডেরাইভেটিভগুলি গণনা করা (যেমন প্রতিটি প্যারামিটারটি স্বতন্ত্র যদিও পরামিতিগুলির মধ্যে একটি বাধা উপস্থিত রয়েছে)।


1
ভাল প্রশ্ন! আমার মনে হয় র্যান্ডম ভেরিয়েবলের দ্বি-পরামিতি বরং দুর্ভাগ্যজনক উদাহরণ, কারণ সীমাবদ্ধতা ছাড়াই, আর ঘনত্ব হতে বাধ্য নয়। উদাহরণস্বরূপ, আপনি বাঁকানো ঘনিষ্ঠ পরিবারের জন্য আপনার পর্যবেক্ষণ পুনরুত্পাদন করতে পারেন? p(X|θ1,θ0)=θ1Xθ01X
খাসা

@ খাশায় আমি ধরে নিচ্ছি যে সীমাবদ্ধতা দ্বি-পরামিতি ক্ষেত্রে প্রয়োগ করা হয়েছে (যার সাথে আপনি উল্লেখ করেছেন) তাই সম্ভাবনা এখনও বৈধ ঘনত্ব হিসাবে থাকবে। এছাড়াও, হ্যাঁ, আমি এই পর্যবেক্ষণটি পুনরুত্পাদন করতে পারি যেমন লগ-লিনিয়ার মডেলগুলির জন্য প্যারামিটারের বিভিন্ন উপসর্গ শূন্য হতে বাধ্য; এই ক্ষেত্রে, "রিডানড্যান্ট" পরামিতি লগ পার্টিশন ফাংশনের সাথে সম্পর্কিত। θ1+θ2=1
স্ট্রিটার

1
সম্পর্কে কীভাবে ? N(μ,μ2)
খাসা

উত্তর:


4

সাধারণ , তথ্য ম্যাট্রিক্স হ'ল বাঁকা সাধারণসুতরাং, আপনার পর্যবেক্ষণ যে নির্ধারকরা সমান হচ্ছেন সর্বজনীন নয়, তবে এটি পুরো গল্প নয়।XN(μ,σ2)

I1=(1σ20012σ4)
XN(μ,μ2)
I2=3μ2.

সাধারণত, যদি তথ্য পুনঃনির্মাণ rep অধীনে তথ্য ম্যাট্রিক্স হয় তবে, এটি দেখতে অসুবিধা হবে না মূল প্যারামিটারগুলির জন্য তথ্য ম্যাট্রিক্স হ'ল যেখানে রূপান্তর জ্যাকবীয় ।Ig

g(θ)=(g1(θ),...,gk(θ)),
I(θ)=GIg(g(θ))G
Gg=g(θ)

উদাহরণের জন্য এবং । সুতরাং, জ্যাকবীয় হ'ল এবং এইভাবে (θ0,θ1)=(p,1p)g(p)=(p,1p)(1,1)

I(p)=(11)(1p0011p)(11)=1p(1p)

বাঁকানো সাধারণ উদাহরণের জন্য,

I2=(12μ)(1μ20012μ4)(12μ)=3μ2.

আমি মনে করি আপনি এখন নির্ধারককে সহজেই সম্পর্কিত করতে পারেন।

মন্তব্যের পরে ফলো-আপ করুন

যদি আমি আপনাকে সঠিকভাবে বুঝতে পারি তবে আপনি যতক্ষণ প্যারামিটারগুলিকে অর্থবহ উপায়ে প্রসারিত করবেন ততক্ষণ এফআইএম বৈধ হবে: নতুন প্যারামিট্রাইজেশনের অধীনে সম্ভাবনাটি বৈধ ঘনত্ব হওয়া উচিত। তাই, আমি বার্নোলির উদাহরণটিকে দুর্ভাগ্যজনক বলে আখ্যায়িত করেছি।

আমি মনে করি আপনি সরবরাহিত লিঙ্কটির পৃথক ভেরিয়েবলগুলির জন্য মারাত্মক ত্রুটি রয়েছে, যেমন আমাদের এবং । Negativeণাত্মক হেসিয়ানটির দেয় তবে স্কোর জন্য নয়। আপনি যদি প্রতিবন্ধকতাগুলি অবহেলা করেন তবে তথ্য ম্যাট্রিক্সের সমতা হ'ল না। E(xi2)=θi(1θi)θiE(xixj)=θiθj0diag{1/θi}


জ্যাকবীয় রূপান্তর পদ্ধতির উল্লেখ করার জন্য এবং সহজ, সুস্পষ্ট উদাহরণের জন্য ধন্যবাদ Thanks আপনি (বা অন্য কেউ) নীচের ইস্যুতে এখনও মন্তব্য করতে পারেন যা এখনও আমাকে উদ্বেগ করছে: এখানে যেমন একটি মাত্রা দিয়ে পরামিতিগুলির সেটটি প্রসারিত করার সময় আমরা পরামিতিগুলির মধ্যে একটি সীমাবদ্ধতার পরিচয় দিচ্ছি যে কোনও আংশিক ডেরাইভেটিভ (যেমন প্রয়োজনীয় এফআইএম) অবৈধ হওয়া উচিত কারণ এখন যখন আমরা একটি প্যারামিটার আলাদা করি তখন অন্যরা আর ধ্রুব থাকে না। অতিরিক্ত সীমাবদ্ধতার কারণে আংশিক ডেরিভেটিভগুলি অবৈধ রয়েছে তা প্রদত্ত প্যারামিটারগুলির বর্ধিত সেটগুলির জন্যও কি এফআইএম এমনকি বৈধ?
টাইলার স্ট্রিটার

@ টাইলারস্ট্রিটার আমি আপনার সমস্যার সমাধান করার জন্য আমার উত্তর আপডেট করেছি।
খাসা

3

এটি প্রদর্শিত হয় যে ফলাফলটি পরামিতিগুলির মধ্যে একটি নির্দিষ্ট ধরণের সম্পর্ককে ধারণ করে।

নীচের ফলাফলগুলির জন্য সম্পূর্ণ সাধারণতার দাবি ছাড়াই, আমি "এক থেকে দুটি পরামিতি" ক্ষেত্রে আঁকড়ে থাকি। বোঝাতে অন্তর্নিহিত সমীকরণ সেই সম্পর্ক যে দুটি প্যারামিটার মধ্যে অবশ্যই হোল্ড প্রকাশ করেছে। তারপরে "সঠিক বর্ধিত", "দ্বি-পরামিতি" লগ-সম্ভাবনা (ওপি গণনা করে না-আমরা সেখানে পৌঁছে যাব)g(θ0,θ1)=0

Le=L(θ0,θ1)+λg(θ0,θ1)
সত্য সম্ভাবনা সমতূল্য , যেহেতু ( একটি হল গুণক) এবং আমরা দুটি পরামিতিগুলিকে স্বতন্ত্র হিসাবে বিবেচনা করতে পারি, যখন আমরা পার্থক্য করি।Lg(θ0,θ1)=0λ

প্যারামিটারগুলির সাথে সম্মতিযুক্ত ডেরিভেটিভগুলি বোঝাতে সাবস্ক্রিপ্টগুলি ব্যবহার করা (এক সাবস্ক্রিপ্ট প্রথম ডেরাইভেটিভ, দুটি সাবস্ক্রিপ্ট দ্বিতীয় ডেরিভেটিভ), সঠিক বর্ধিত লগ-সম্ভাবনার হেসিয়ান নির্ধারণকারী হবে

(1)DH(Le)=[L00+λg00][L11+λg11][L01+λg01]2=DH(L)

পরিবর্তে ওপি কী করছে?

তিনি দুটি প্যারামিটারের মধ্যে সম্পর্কটিকে "উপেক্ষা" করে এবং বাধা না নিয়ে ভুল সম্ভাবনাটিকে বিবেচনা করেন। । তারপরে তিনি পার্থক্য নিয়ে এগিয়ে যান এবং অর্জন করেনL(θ0,θ1)g(θ0,θ1)

(2)DH(L)=L00L11[L01]2

এটি স্পষ্ট যে সাধারণভাবে সমান নয় ।(2)(1)

তবে যদি , তবেg00=g11=g00=0

(1)DH(Le)=L00L11[L01]2=DH(L)=DH(L)

সুতরাং যদি প্রকৃত প্যারামিটার এবং অপ্রয়োজনীয় প্যারামিটারের মধ্যে সম্পর্ক এমন হয় যে তাদেরকে সংযুক্ত করে এমন অন্তর্নিহিত ফাংশনের দ্বিতীয় আংশিক ডেরিভেটিভগুলি সমস্ত শূন্য হয় , তবে মূলত ভুল যে পদ্ধতির সাথে "সঠিক" হয় তা শেষ হয়।

বার্নোল্লি মামলার জন্য, আমাদের কাছে সত্যই আছে

g(θ0,θ1)=θ0+θ11g00=g11=g01=0

সংযোজন
@Khashaa প্রশ্নের সাড়া এবং এখানে বলবিজ্ঞান দেন, আমরা একটি সম্ভাবনা একটি অপ্রয়োজনীয় পরামিতি সঙ্গে নির্দিষ্ট বিবেচনা, এছাড়াও একটি বাধ্যতা অধীনে যে সংযোগগুলি সত্য এক সঙ্গে অপ্রয়োজনীয় প্যারামিটার। লগ-সম্ভাবনাগুলি দিয়ে আমরা যা করি তা তাদের সর্বাধিক করে তোলা - এখানে আমাদের সীমাবদ্ধ সীমাবদ্ধতার একটি মামলা রয়েছে। আকার এর একটি নমুনা ধরুন :n

maxLn(θ0,θ1)=lnθ0i=1nxi+(ni=1nxi)lnθ1,s.t.θ1=1θ0

এই সমস্যাটির একটি ল্যাংরেঞ্জান রয়েছে (যা অনানুষ্ঠানিকভাবে আমি উপরে "সঠিক বর্ধিত সম্ভাবনা" বলেছি),

Le=lnθ0i=1nxi+(ni=1nxi)lnθ1+λ(θ11+θ0)

সর্বাধিকের জন্য প্রথম-ক্রমের শর্তগুলি

i=1nxiθ0+λ=0,ni=1nxiθ1+λ0=0

যার জন্য আমরা সম্পর্ক অর্জন করি

i=1nxiθ0=ni=1nxiθ1θ1i=1nxi=(ni=1nxi)θ0

বৈধ যে সীমাবদ্ধতার অধীনে আমরাθ1=1θ0

(1θ0)i=1nxi=(ni=1nxi)θ0

i=1nxi=nθ0θ^0=1ni=1nxi

আমাদের উচিত।

তাছাড়া, যেহেতু বাধ্যতা হয় রৈখিক মধ্যে সব পরামিতি, তার দ্বিতীয় ডেরাইভেটিভস শূন্য হবে। এটি প্রতিফলিত হয় যে ল্যাগরঞ্জানের প্রথম-ডেরিভেটিভগুলিতে, গুণক ল্যাম্বদা "একা দাঁড়িয়ে" এবং যখন আমরা ল্যাগরঞ্জানের দ্বিতীয় ডেরিভেটিভ গ্রহণ করব তখন তা নির্মূল হবে। যার ফলস্বরূপ আমাদের এমন এক হেসিয়ান বাড়ে যাঁর নির্ধারকটি মূল এক-পরামিতি লগ-সম্ভাবনার দ্বিতীয় ডেরিভেটিভকে সমান করবে, বাধাও চাপিয়ে দেওয়ার পরে (যা ওপি তা করে)। তারপরে উভয় ক্ষেত্রেই প্রত্যাশিত মানটির নেতিবাচক গ্রহণ করা, এই গাণিতিক সমতুল্যতা পরিবর্তন করে না এবং আমরা "দ্বি-মাত্রিক ফিশার তথ্য = দ্বি-মাত্রিক ফিশার তথ্যের নির্ধারক" সম্পর্কিত পৌঁছে যাই। এখনλএই প্রতিবন্ধকতা সমস্ত পরামিতিগুলিতে রৈখিক হিসাবে দেওয়া হয়েছে, কার্যকারিতাটি সর্বাধিকীকরণের জন্য গুণকটির সাথে সীমাবদ্ধতার পরিচয় না দিয়ে ওপি একই ফলাফল (দ্বিতীয়-ডেরিভেটিভ স্তরে) প্রাপ্ত করে, কারণ দ্বিতীয় ডেরিভেটিভ স্তরে, উপস্থিতি / প্রভাব এ জাতীয় ক্ষেত্রে বাধা অদৃশ্য হয়ে যায়।

এগুলি সমস্তই ক্যালকুলাসের সাথে সম্পর্কিত নয়, পরিসংখ্যানগত ধারণার সাথে নয়।


আমি আপনার যুক্তি অনুসরণ করতে পারে বলে মনে হয় না। আপনি কি দয়া করে ব্যাখ্যা করতে পারেন যে ল্যাগ্র্যানজানের মতো কেন "সঠিক বর্ধিত", "দ্বি-পরামিতি" লগ-সম্ভাবনা হিসাবে বিবেচিত? এছাড়াও, হেসিয়ান আমার কাছে সম্পূর্ণ রহস্যময়। আপনি পর্যবেক্ষণ করা তথ্য ম্যাট্রিক্স গণনা করছেন? Le
খাসা

@ খাসা এটি পরিভাষাটি প্রতিষ্ঠিত হয়েছে যে "হেসিয়ান" হ'ল মাল্টিভারিয়েট ফাংশনের দ্বিতীয় ডেরিভেটিভসের ম্যাট্রিক্স।
আলেকোস পাপাদোপল্লোস

এখানের নিম্নোক্তরা যদি একটি উত্তর পোস্ট করেন তবে এটি সহায়ক হবে - কারণ ওপি'র নির্দিষ্ট উদাহরণ বিদ্যমান রয়েছে - এবং ব্যাখ্যাটির দাবি জানায়।
আলেকোস পাপাদোপল্লোস

দুঃখিত, যদি আমার প্রশ্নটি অস্পষ্ট ছিল। আমার প্রশ্ন আপনি হেসিয়ানকে তথ্য ম্যাট্রিক্সের সাথে কীভাবে সংযুক্ত করেছিলেন সে সম্পর্কে ছিল, যেহেতু আমি এতে কোনও প্রত্যাশা চালিত দেখিনি এবং ফলাফলটি পর্যবেক্ষণ করা তথ্য ম্যাট্রিক্সের মতো বলে মনে হয়েছিল। তদতিরিক্ত , আপনি কী ব্যাখ্যা করতে পারেন যে সঠিক লগলিঙ্কটিলিটি হয়? আমার ধারণা আপনি সীমাবদ্ধ সম্ভাবনার মূল্যায়ন করার জন্য কিছু নীতিগত পদ্ধতি ব্যবহার করছেন তবে এটি কীভাবে কাজ করে তা আমি বুঝতে পারি না। Le
খাসা

@ খশা আমি ওপি-র উদাহরণ ব্যবহার করে একটি বিবরণ যুক্ত করেছি।
অ্যালেকোস পাপাদোপ্লোস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.