আমি স্কিউ স্বাভাবিক ডেটার জন্য অনুমান পরীক্ষা করতে পারি?

Question

আমার কাছে ডেটা সংগ্রহ রয়েছে, যা আমি প্রাথমিকভাবে ভেবেছিলাম সাধারণত বিতরণ করা হয়েছিল। তারপরে আমি আসলে এটি দেখেছিলাম এবং বুঝতে পেরেছিলাম যে এটি বেশিরভাগ ক্ষেত্রেই ডেটা স্কিউড এবং আমি একটি শাপিরো-উইলক্স পরীক্ষাও করেছি।

আমি এখনও এটি স্ট্যাটিস্টিকাল পদ্ধতি ব্যবহার করে বিশ্লেষণ করতে চাই এবং তাই আমি স্কিউ-নরমালটির জন্য অনুমান পরীক্ষা করতে চাই test

সুতরাং আমি জানতে চাই যে স্কু স্বাভাবিকের জন্য পরীক্ষা করার কোনও উপায় আছে এবং যদি সম্ভব হয় তবে আমার জন্য পরীক্ষা করার জন্য একটি গ্রন্থাগার রয়েছে।

Answer 1

স্কিউ-স্বাভাবিক বিতরণে ডেটা কীভাবে ফিট করা যায় সে সম্পর্কে আপনি প্রথম নীতিগুলি থেকে সর্বাধিক সম্ভাবনা অনুমানকারী গণনা করতে পারেন। প্রথম নোট যে অবস্থান পরামিতি সঙ্গে স্কিউ সাধারণ বন্টনের জন্য সম্ভাব্যতা ঘনত্ব ফাংশন , স্কেল প্যারামিটার এবং আকৃতি প্যারামিটার হলω $\xi$$\omega$$\alpha$

$$\frac{2}{\omega} \phi\left(\frac{x-\xi}{\omega}\right) \Phi\left(\alpha \left(\frac{x-\xi}{\omega}\right)\right)$$

যেখানে হ'ল আদর্শ ঘনত্বের ক্রিয়া এবং হ'ল মানক সিডিএফ। নোট করুন যে এই ঘনত্বটি এই প্রশ্নের আমার উত্তরে বর্ণিত শ্রেণীর সদস্য ।Φ ( ⋅ $\phi(\cdot)$$\Phi(\cdot)$

এই বিতরণ থেকে স্বতন্ত্র পর্যবেক্ষণের নমুনার ভিত্তিতে লগ-সম্ভাবনা হ'ল:$n$

$$-n\log(\omega) + \sum_{i=1}^{n} \log \phi\left(\frac{x-\xi}{\omega}\right) + \log \Phi\left(\alpha \left(\frac{x-\xi}{\omega}\right)\right)$$

এটি সত্য যে এই এমএলইয়ের জন্য কোনও বদ্ধ ফর্ম সমাধান নেই। তবে, এটি সংখ্যাগতভাবে সমাধান করা যেতে পারে। উদাহরণস্বরূপ, এতে আপনি Rসম্ভাবনা ফাংশনটি কোড আপ করতে পারেন (দ্রষ্টব্য, আমি এটি সম্পূর্ণরূপে স্বচ্ছ তৈরি করার চেয়ে কম কমপ্যাক্ট / দক্ষ করে তুলেছি যাতে এটি কীভাবে উপরের সম্ভাবনা কার্যটিকে গণনা করে):

set.seed(2345)

# generate standard normal data, which is a special case
n = 100 
X = rnorm(n) 

# Calculate (negative) log likelihood for minimization
# P[1] is omega, P[2] is xi and P[3] is alpha
L = function(P)
{

    # positivity constraint on omega
    if( P[1] <= 0 ) return(Inf)

    S = 0
    for(i in 1:n) 
    {
        S = S - log( dnorm( (X[i] - P[2])/P[1] ) ) 
        S = S - log( pnorm( P[3]*(X[i] - P[2])/P[1] ) ) 
    }


    return(S + n*log(P[1]))
}

এখন আমরা এই সংখ্যাটি কেবল সংখ্যায়িকভাবে কমিয়ে আছি (অর্থাত্ সম্ভাবনা সর্বাধিক)। সিম্প্লেক্স অ্যালগরিদম ব্যবহার করে ডেরিভেটিভগুলি গণনা না করে আপনি এটি করতে পারেন যা optim()প্যাকেজের মধ্যে পূর্বনির্ধারিত বাস্তবায়ন R।

স্কিউনেসের জন্য কীভাবে পরীক্ষা করবেন সে সম্পর্কে: আমরা স্পষ্টভাবে স্কিউ-নর্মাল বনাম নরমাল (যেহেতু সাধারণ একটি সাবমোডেল) for সীমাবদ্ধ করে এবং সম্ভাবনা অনুপাতের পরীক্ষা করে পরীক্ষা করতে পারি ।$\alpha = 0$

# log likelihood constraining alpha=0. 
L2 = function(Q) L(c(Q[1],Q[2],0))

# log likelihood from the constrained model
-optim(c(1,1),L2)$value
[1] -202.8816

# log likelihood from the full model
-optim(c(1,1,1),L)$value
[1] -202.0064

# likelihood ratio test statistic
LRT = 2*(202.8816-202.0064)

# p-value under the null distribution (chi square 1)
1-pchisq(LRT,1)
[1] 0.1858265

সুতরাং আমরা তাই নাল অনুমানকে বাতিল করব না যে (অর্থাত্ কোনও স্কিউ নয়)।$\alpha=0$

এখানে তুলনাটি সহজ ছিল, যেহেতু সাধারণ বিতরণ একটি সাব মডেল ছিল। অন্যান্য ক্ষেত্রে, আরও সাধারণ ক্ষেত্রে, আপনি স্কিউ-স্বাভাবিককে অন্যান্য রেফারেন্স বিতরণগুলির সাথে তুলনা করে তুলনা করতে পারেন, উদাহরণস্বরূপ, আপনি যদি প্রতিযোগিতামূলক ফিটের ক্ষেত্রে সর্বাধিক সম্ভাবনা অনুমানকারী ব্যবহার করেন তবে এআইসির এস (যেমন এখানে হয়েছে )। উদাহরণস্বরূপ, আপনি গামা বিতরণের অধীনে এবং স্কিউ স্বাভাবিকের অধীনে সর্বাধিক সম্ভাবনার দ্বারা ডেটা ফিট করতে পারেন এবং দেখুন যে অতিরিক্ত সম্ভাবনা স্কিউ-নরমাল (2 এর পরিবর্তে 3 পরামিতি) এর যুক্ত জটিলতার ন্যায্যতা প্রমাণ করে। স্কু-স্বাভাবিক পরিবারের কাছ থেকে সেরা ফিটিংয়ের প্রাক্কলনের সাথে আপনার ডেটা তুলনা করতে আপনি কোলমোগোরভ স্মারনভ পরীক্ষার জন্য একটি নমুনা ব্যবহার করেও বিবেচনা করতে পারেন ।

Comments

+1, আমি মনে করি এটি একটি পরিষ্কার, পুঙ্খানুপুঙ্খ এবং গঠনমূলক উত্তর। এআইসির ব্যবহারের চূড়ান্ত অনুচ্ছেদে আমার 1 টি নটপিক / উদ্বেগ রয়েছে। আমার ডাব্লু / বিভিন্ন তথ্যের মানদণ্ডের একটি সমস্যা হ'ল তারা ধরে নিচ্ছে যে সমস্ত পরামিতিগুলি ডেটা ফিট করার জন্য মডেলটির সামর্থ্যে সমানভাবে অবদান রাখে। বিভিন্ন একাধিক রিগ্রেশন মডেল মূল্যায়ন করার সময়, আমি মনে করি এটি ঠিক আছে; তবে যদি বিভিন্ন ধরণের বিতরণ পরীক্ষা করে দেখেন তবে আমার কাছে এটি পূর্ব-স্পষ্ট নয় যে সমস্ত পরামিতি সমান নমনীয়তা বহন করে। সুতরাং, আমি অস্বস্তি ডব্লু / যে। এই বিষয়ে আপনার অবস্থান কী?

— গুং - মনিকা পুনরায়

+1 টি আমি শুধু সামান্য কিছু সমস্যা নিয়ে আমি চিন্তিত Azzalini স্কিউ স্বাভাবিক যেমন: (1) ফিশার তথ্য ম্যাট্রিক্স , বক্রতা প্যারামিটার হয় একবচন এ যা এই সময়ে আনুমানিক সমস্যার ইঙ্গিত দেয়, বিশেষ করে যখন সম্ভাবনা অনুপাত পরিসংখ্যান ব্যবহার করে; (2) pha প্রোফাইল সম্ভাবনা সাধারণত খুব সমতল ; (3) এটিতে দুটি প্রতিবিম্ব পয়েন্ট রয়েছে এবং এর যৌথ এমএলই কিছু ডেটা সেটের জন্য বিদ্যমান নেই। α = 0 α ( μ , σ , α $\alpha$$\alpha=0$$\alpha$$(\mu,\sigma,\alpha)$

@ গুং, এটি একটি ভাল বিষয়। আমি এআইসিকে কোনও কিছুর চেয়ে উদাহরণ হিসাবে বেশি ব্যবহার করছিলাম - অন্য কিছু ব্যবহার করা যেতে পারে - তবে আমি লোককে বিভিন্ন ত্রুটি বিতরণের সাথে মডেলগুলির তুলনা করতে এআইসি ব্যবহার করতে দেখেছি, যা কার্যকরভাবে এই একই ধারণাটি তৈরি করছে যে সমস্ত প্যারামিটারগুলি "সমানভাবে তৈরি করা হয়েছে"। আপনি এই বিষয়ে কোন সাহিত্য দেখেছেন? আমি আগ্রহী হই

— ম্যাক্রো

$\alpha=0$$\pm .9$$\alpha$$\pm \infty$$\alpha$$\alpha$

$\alpha$

Answer 2

আমি একজন পরিসংখ্যানবিদ যিনি 30 বছরেরও বেশি সময় ধরে এই পেশায় কাজ করে যাচ্ছেন এবং এই পোস্টটি পড়ার আগে আমি স্কিউ সাধারণ বিতরণের কথা কখনও শুনিনি। আপনার যদি উচ্চ স্কিউ ডেটা থাকে তবে বিশেষত লগনরমাল বা গামার বিপরীতে স্কিউ স্বাভাবিকের দিকে কেন নজর দেওয়া উচিত? আপনার যে কোনও সময় যেমন গামা, লগনারমাল বা স্কিউ স্বাভাবিকের মতো বিতরণের একটি প্যারাম্যাট্রিক পরিবার থাকে আপনি চি-স্কোয়ার বা কোলমোগোরভ-স্মারনভের মতো ফিটের পরীক্ষার সার্থকতা প্রয়োগ করতে পারেন।

Comments

1985 সালে প্রস্তাবিত আজালালিনী স্কিউ নর্মাল একটি জনপ্রিয় বিতরণ It এটির পুরো বাস্তব লাইনে সমর্থন রয়েছে।

@ প্রিলিনেটর আমি জানি যে এখন এবং সম্ভবত এটির আগে শুনে নেওয়া উচিত ছিল। তবে আমার ধারণাটি হ'ল যেহেতু আমি এটির কথা শুনি নি সম্ভবত এটি অন্যান্য স্কিউড বিতরণগুলির চেয়ে কিছুটা অস্পষ্ট। আমার উদাহরণগুলির বিপরীতে পুরো রিয়েল লাইনের উপরে সমর্থন সম্পর্কে আমি পয়েন্টটি পেয়েছি যা কেবলমাত্র [0.∞) বা {a, on) সমর্থন করে যদি একটি শিফট প্যারামিটার যুক্ত হয়। কীভাবে ডেটা বিতরণ করা হয় তা বর্ণনা করার জন্য এই বিতরণগুলি কেবলমাত্র প্রায় অনুমান। আমরা কি সত্যিই জানি যে সমস্ত নেতিবাচক মানগুলি সম্ভব? ব্যবহারিক ক্ষেত্রে ডেটাগুলির সম্ভবত নিম্ন এবং উপরের সীমা থাকে।

— মাইকেল আর। চেরনিক

@ প্রিলিনেটর এর সাথে আমার মন্তব্যের কোনও যোগসূত্র নেই। আমি বলছি যে আনবাউন্ডেড বিতরণগুলির সাথে যখন তারা ভালভাবে অনুমান করা যায় তখনও সত্যিকারের ডেটা প্রায়শই সত্যিই আবদ্ধ থাকে।

— মাইকেল আর। চেরনিক

পছন্দ করুন যদি আপনাকে সংখ্যার একটি সীমাবদ্ধ সেট দেওয়া হয় তবে আপনি ডেটা থেকে বলতে পারবেন না সেগুলি আলাদা বা ধারাবাহিক বিতরণ থেকে এসেছে কিনা come সীমানা জন্য একই। আমি বলছি যে ডেটা বাদে আপনি কী পরিমাপ করছেন তার ভিত্তিতে এটি সীমাবদ্ধ এবং ধারাবাহিক বা বিযুক্ত কিনা তা আপনি কঠোরভাবে জানতে পারবেন। উদাহরণস্বরূপ যদি আপনি এমন ব্যক্তির ওজন পরিমাপ করছেন যা আপনি জানেন যে ওজন 0 এর চেয়ে বেশি এবং শারীরিক সীমাবদ্ধতার দ্বারা উপরে আবদ্ধ 5000 পাউন্ড বলে।

— মাইকেল আর চেরনিক

এছাড়াও ওজন পরিমাপ নির্দিষ্ট দশমিক কয়েকটি স্থানেই নির্ধারিত হতে পারে তবে ওজনকে অবিচ্ছিন্ন হিসাবে গণ্য করা যুক্তিসঙ্গত। এখন আপনি যদি 10 বার একটি মুদ্রা ফ্লিপ করতে যাচ্ছেন তবে আপনি জানেন যে আপনি যে শিরোনাম পাবেন সেগুলি অবশ্যই 0 এবং 10 এর মধ্যে একটি পূর্ণসংখ্যা হতে হবে (তাই স্বতন্ত্র এবং আবদ্ধ)। আমার বক্তব্যটি হল যে বিতরণের সীমাগুলি সাধারণত খুব স্পষ্ট হয়। ক্রমাগত এবং পৃথক বিতরণের মধ্যে সিদ্ধান্ত নেওয়ার সময় এটি পরিষ্কার নয়।

— মাইকেল আর। চেরনিক

Answer 3

সুতরাং শেষ পর্যন্ত আমার সমাধানটি ছিল fGark প্যাকেজটি ডাউনলোড করা এবং স্কেকউড-snormFit নরমালের প্যারামিটারগুলির জন্য এমএলইগুলি পেতে fGark দ্বারা সরবরাহ করা।

তারপরে আমি এই প্যারামিটারগুলি প্লাগ dsnormকরেছি, এফগার্কের দ্বারা প্রদত্ত ফাংশনটি, কলমোগোরভ-স্মারনভ পরীক্ষায়।

Comments

আপনি এমএলই এবং কোলমোগোরভ-স্মারনভ পরীক্ষাটি কীভাবে একত্রিত করতে পারেন, যা একটি ননপ্যারামেট্রিক পরীক্ষা?

আমি এটি উল্লেখ করতে চাই যে আমি কী করছি আমার কোনও ধারণা নেই এবং কেবল অন্ধভাবে ঘুরে বেড়াচ্ছি। আমি ধরে নিয়েছিলাম যে কেএস চি-স্কোয়ারের মতো কাজ করেছে এবং এটি আমার কাছে কী নমুনা তথ্য রয়েছে এবং বিতরণটি কী হওয়া উচিত তার মধ্যে পার্থক্যগুলি দেখেছিল। আর এর কেএস.স্টেস্ট প্রথমে নমুনা ডেটা গ্রহণ করে এবং তারপরে সেই বিতরণের পরামিতিগুলি সহ একটি বিতরণ। আমি পরামিতি হিসাবে MLEs ব্যবহার। এছাড়াও, চি-স্কোয়ার্ডের কাজগুলি কীভাবে ভুল হতে পারে তার আমার অনুমান / সংযোজন ...

— স্কুইডলি

$H_0: \lambda=0$

$H_0 = \lambda = 0$$H_0$

@ প্রলিনেটর এমিরিকাল সিডিএফ-এর উপর ভিত্তি করে ফিটের পরীক্ষার অনেক ধার্মিকতা রয়েছে কোলমোগোরভ স্মারনভ একজন। এই পরীক্ষাটি ব্যবহারিক সিডিএফকে নির্দিষ্ট নির্দিষ্ট বিতরণের সাথে তুলনা করতে ব্যবহার করা যেতে পারে (এবং পরীক্ষার আগে অজানা প্যারামিটারগুলি অনুমান করা হলে সমন্বয়গুলির সাথে। আপনি একেবারেই সঠিক যে উদাহরণস্বরূপ স্বাভাবিকতার জন্য কোনও বিতরণকে অস্বীকার করবেন না কীভাবে বিতরণগুলি পৃথক হয় But তবে মিস্টার বোনস যদি তিনি তিনি আনুষ্ঠানিকভাবে এটি করতে চান তিনি তাত্পর্যপূর্ণ স্কিউনেসের জন্য পরীক্ষা করতে পারেন এবং তারপরে স্কিউ স্বাভাবিকের জন্য কেএস বা চি স্কোয়ার পরীক্ষা করতে পারেন multiple একাধিক পরীক্ষার জন্য সামঞ্জস্য করা যেতে পারে the ওপি দিয়ে কেন

— স্মাগ করা হবে

Answer 4

পরীক্ষা করে দেখুন http://www.egyankosh.ac.in/bitstream/123456789/25807/1/Unit6.pdf এবং http://en.wikipedia.org/wiki/Skewness

আপনি স্কেলনেসের জন্য কার্ল পিয়ারসন পরীক্ষাটি ব্যবহার করতে পারেন। স্ট্যান্ডার্ড বিচ্যুতি ঘন তৃতীয় মুহূর্তের অনুপাত বলা হয় skewness এর সহগ। প্রতিসম বিতরণে স্কিউনেস = 0 থাকবে

Comments

আমি আমার ডেটা এর স্কিউ কাজ করতে চাই না। আমি জানি এটি বদ্ধ আমি জানতে চাই যে আমার ডেটাগুলি স্কিউ-স্বাভাবিক বিতরণ অনুসরণ করে।

— স্কুইডলি

আপনি কোন সফ্টওয়্যারটি ব্যবহার করছেন, আর এর একটি প্যাকেজ 'স্ন' (স্কিউ নরমাল) রয়েছে যাতে এমএল অনুমান গণনা করে এমন ফাংশন রয়েছে। আমি যদিও সঠিক ফাংশন সম্পর্কে নিশ্চিত নই - আর প্যাকেজটির বিশদ জানতে এই সাইটটি azzalini.stat.unipd.it/SN দেখুন

— NaN

Answer 5

এসপিএসে আপনি স্কিউনেসের অনুমান করতে পারেন (বিশ্লেষণ করতে গিয়ে বর্ণনামূলক বিবরণ দিয়ে এবং তারপর স্কিউনেস চিহ্নিত করে) তারপরে আপনি স্কিউনেস এবং এসই (স্ট্যান্ডার্ড ত্রুটি) স্কিউনেসের একটি স্কোর পাবেন। স্কিউনেসকে এর এসই দিয়ে ভাগ করুন এবং আপনার স্কোর যদি +1-16 এর মধ্যে থাকে তবে এটি সাধারণত স্কিউড হয়। যদি এটি স্কিউড না হয় তবে সেখানে অনেকগুলি পরামিতি পরীক্ষা রয়েছে! শুভকামনা এবং সমস্ত শুভকামনা!