পরিসংখ্যানগত এবং গাণিতিক ধারণাগুলি হুবহু একই, "পরিবার" একটি জেনেরিক গাণিতিক শব্দ যা বিভিন্ন পরিস্থিতিতে যেমন প্রযুক্তিগত বিভিন্নতার সাথে অভিযোজিত:
একটি প্যারাম্যাট্রিক পরিবার হ'ল সমস্ত বিতরণের জায়গাতে একটি বাঁক (বা পৃষ্ঠ বা অন্যান্য সীমাবদ্ধ মাত্রার সাধারণীকরণ)।
এই পোস্টের বাকী অংশটি কী তার অর্থ ব্যাখ্যা করে। একদিকে যেমন, আমি মনে করি না যে এটির কোনওটিই গাণিতিক বা পরিসংখ্যানগতভাবে বিতর্কিত নয় (একটি ছোটখাটো ইস্যু যা নীচে উল্লিখিত আছে) বাদে)। এই মতামতের সমর্থনে আমি অনেকগুলি রেফারেন্স সরবরাহ করেছি (বেশিরভাগ উইকিপিডিয়া নিবন্ধগুলিতে)।
"পরিবারগুলির" এই পরিভাষাটি সেট ওয়াই বা "মানচিত্র" এ ফাংশনের সি ওয়াই ফাংশন অধ্যয়ন করার সময় ব্যবহার করা হয় । একটি ডোমেন দেওয়া এক্স , একটি পরিবার এফ উপর মানচিত্রের এক্স স্থিতিমাপ কিছু সেট Θ ( "পরামিতি") একটি ফাংশনCYYX FX Θ
ফ : এক্স × Θ → ওয়াই
F:X×Θ→Y
যা (1) প্রতিটি জন্য θ ∈ Θ , ফাংশন এফ θ : এক্স → ওয়াই কর্তৃক প্রদত্ত এফ θ ( এক্স ) = এফ ( এক্স , θ ) রয়েছে সি ওয়াই এবং (2) এফ নিজেই নির্দিষ্ট "চমৎকার" বৈশিষ্ট্য আছে।θ∈ΘFθ:X→YFθ(x)=F(x,θ)CYF
ধারণাটি হ'ল আমরা X থেকে Y এ "মসৃণ" বা নিয়ন্ত্রিত পদ্ধতিতে ফাংশনগুলি পৃথক করতে চাই । প্রপার্টি (1) মানে প্রতিটি θ মনোনীত যেমন একটি ফাংশন, যখন সম্পত্তি (2) বিস্তারিত জানার যা একটি "ছোট" পরিবর্তন ক্যাপচার হবে θ সংঘটিত একটি পর্যাপ্ত "ছোট" পরিবর্তন এফ θXYθθFθ ।
প্রশ্নের একটি উল্লেখযোগ্য গাণিতিক উদাহরণ, হটোমোপি । এই ক্ষেত্রে সি ওয়াই হয় বিভাগ থেকে একটানা মানচিত্র ভূ স্পেস এক্স টপোলজিকাল মহাকাশ ওয়াই ; Θ = [ 0 , 1 ] ⊂ আর তার স্বাভাবিক টপোলজি সঙ্গে ইউনিট ব্যবধান, এবং আমরা প্রয়োজন যে এফ একটি হতে ক্রমাগত টপোলজিকাল পণ্য থেকে মানচিত্র এক্স × Θ মধ্যে ওয়াই । এটিকে "মানচিত্রের এফ এর ক্রমাগত বিকৃতি হিসাবে ভাবা যেতে পারেCY XYΘ=[0,1]⊂RFX×ΘY 0F0থেকে এফ 1 । "যখন এক্স = [ 0 , 1 ] নিজেই একটি বিরতি পায়, তাহলে সেই মানচিত্রগুলি হয় রেখাচিত্র মধ্যে ওয়াইF1X=[0,1]Y এবং হোমোপিটি একটি বাঁক থেকে অন্য বাঁক পর্যন্ত মসৃণ বিকৃতি হয়।
পরিসংখ্যানগত অ্যাপ্লিকেশনের জন্য, সি ওয়াই সব ডিস্ট্রিবিউশন এর সেট আর (অথবা, বাস্তবে, উপর আর এন কিছু এন কিন্তু উদ্ভাস সহজ আমি উপর ফোকাস করা রাখার এন = 1 )। আমরা এটি সমস্ত অ-হ্রাসকৃত সিডল্যাগ ফাংশন আর → [ 0 , 1 ] এর সেট দিয়ে চিহ্নিত করতে পারি যেখানে তাদের পরিসীমা বন্ধ হওয়ার সাথে 0 এবং 1 উভয়ই অন্তর্ভুক্ত থাকে : এগুলি হল संचयी বিতরণ ফাংশন, বা কেবল বিতরণ ফাংশন। সুতরাং, এক্স = আর ওয়াই =CYRRnnn=1R→[0,1]01X=R এবং [ 0 , 1 ] ।Y=[0,1]
বিতরণের একটি পরিবার সি ওয়াইয়ের যে কোনও উপসেট । CY পরিবারের অন্য একটি নাম পরিসংখ্যানের মডেল। এটি এমন সমস্ত বিতরণ নিয়ে গঠিত যা আমরা মনে করি আমাদের পর্যবেক্ষণগুলি পরিচালনা করে, তবে কোনটি বিতরণ প্রকৃত তা আমরা অন্যথায় জানি না।
- একটি পরিবার খালি থাকতে পারে।
- সি ওয়াই নিজেই একটি পরিবার।CY
- একটি পরিবার একটি একক বিতরণ বা তাদের মধ্যে সীমাবদ্ধ সংখ্যা নিয়ে গঠিত হতে পারে।
এই বিমূর্ত সেট-তাত্ত্বিক বৈশিষ্ট্যগুলি তুলনামূলকভাবে কম আগ্রহ বা ইউটিলিটির। কেবলমাত্র যখন আমরা সি ওয়াইয়ের উপর অতিরিক্ত (প্রাসঙ্গিক) গাণিতিক কাঠামো বিবেচনা করি তখনই এই ধারণাটি দরকারী হয়ে ওঠে। তবে সি ওয়াইয়ের কোন বৈশিষ্ট্য পরিসংখ্যানগত আগ্রহের? কিছু যে ঘন ঘন প্রদর্শিত হয়:CYCY
সি ওয়াই একটি হলউত্তল সেট: কোন দুটি ডিস্ট্রিবিউশন দেওয়া এফ , জি ∈ সি ওয়াই , আমরা গঠন করতে পারেমিশ্রণ বন্টন(1-টি) এফ + +T জি ∈ওয়াইসবার জন্যটি∈[0,1]। এটিএফথেকেজিপর্যন্ত এক ধরণের "হোমোপি"।CYF,G∈CY (1−t)F+tG∈Yt∈[0,1]FG
সি ওয়াইয়ের বড় অংশগুলি বিভিন্ন সিউডো মেট্রিকগুলিকে সমর্থন করে যেমন কুলব্যাক-লেবেলার বিচ্যুতি বা ঘনিষ্ঠভাবে সম্পর্কিত ফিশার ইনফরমেশন মেট্রিক।CY
CYCY has an additive structure: corresponding to any two distributions FF and GG is their sum, F⋆GF⋆G.
CYCY supports many useful, natural functions, often termed "properties." These include any fixed quantile (such as the median) as well as the cumulants.
CYCY is a subset of a function space. As such, it inherits many useful metrics, such as the sup norm (L∞L∞ norm) given by ||F−G||∞=supx∈R|F(x)−G(x)|.
||F−G||∞=supx∈R|F(x)−G(x)|.
Natural group actions on RR induce actions on CYCY. The commonest actions are translations Tμ:x→x+μTμ:x→x+μ and scalings Sσ:x→xσSσ:x→xσ for σ>0σ>0. The effect these have on a distribution is to send FF to the distribution given by Fμ,σ(x)=F((x−μ)/σ)Fμ,σ(x)=F((x−μ)/σ). These lead to the concepts of location-scale families and their generalizations. (I don't supply a reference, because extensive Web searches turn up a variety of different definitions: here, at least, may be a tiny bit of controversy.)
The properties that matter depend on the statistical problem and on how you intend to analyze the data. Addressing all the variations suggested by the preceding characteristics would take too much space for this medium. Let's focus on one common important application.
Take, for instance, Maximum Likelihood. In most applications you will want to be able to use Calculus to obtain an estimate. For this to work, you must be able to "take derivatives" in the family.
(Technical aside: The usual way in which this is accomplished is to select a domain Θ⊂RdΘ⊂Rd for d≥0d≥0 and specify a continuous, locally invertible function pp from ΘΘ into CYCY. (This means that for every θ∈Θθ∈Θ there exists a ball B(θ,ϵ)B(θ,ϵ), with ϵ>0ϵ>0 for which p∣B(θ,ϵ):B(θ,ϵ)∩Θ→CYp∣B(θ,ϵ):B(θ,ϵ)∩Θ→CY is one-to-one. In other words, if we alter θθ by a sufficiently small amount we will always get a different distribution.))
Consequently, in most ML applications we require that pp be continuous (and hopefully, almost everywhere differentiable) in the ΘΘ component. (Without continuity, maximizing the likelihood generally becomes an intractable problem.) This leads to the following likelihood-oriented definition of a parametric family:
A parametric family of (univariate) distributions is a locally invertible map F:R×Θ→[0,1],
F:R×Θ→[0,1],
with Θ⊂RnΘ⊂Rn, for which (a) each FθFθ is a distribution function and (b) for each x∈Rx∈R, the function Lx:θ→[0,1]Lx:θ→[0,1] given by Lx(θ)=F(x,θ)Lx(θ)=F(x,θ) is continuous and almost everywhere differentiable.
Note that a parametric family FF is more than just the collection of FθFθ: it also includes the specific way in which parameter values θθ correspond to distributions.
Let's end up with some illustrative examples.
Let CYCY be the set of all Normal distributions. As
given, this is not a parametric family: it's just a family. To be
parametric, we have to choose a parameterization. One way is to
choose Θ={(μ,σ)∈R2∣σ>0}Θ={(μ,σ)∈R2∣σ>0}
and to map (μ,σ)(μ,σ) to the Normal distribution with mean μμ
and variance σ2σ2.
The set of Poisson(λ)(λ) distributions is a parametric family
with λ∈Θ=(0,∞)⊂R1λ∈Θ=(0,∞)⊂R1.
The set of Uniform(θ,θ+1)(θ,θ+1) distributions (which features
prominently in many textbook exercises) is a parametric family with
θ∈R1θ∈R1. In this case, Fθ(x)=max(0,min(1,x−θ))Fθ(x)=max(0,min(1,x−θ)) is differentiable in θθ except for
θ∈{x,x−1}θ∈{x,x−1}.
Let FF and GG be any two distributions. Then F(x,θ)=(1−θ)F(x)+θG(x)F(x,θ)=(1−θ)F(x)+θG(x) is a parametric family for θ∈[0,1]θ∈[0,1]. (Proof: the image of FF is a set of distributions and its partial derivative in θθ equals −F(x)+G(x)−F(x)+G(x) which is defined everywhere.)
The Pearson family is a four-dimensional family, Θ⊂R4Θ⊂R4, which includes (among others) the Normal distributions, Beta distributions, and Inverse Gamma distributions. This illustrates the fact that any one given distribution may belong to many different distribution families. This is perfectly analogous to observing that any point in a (sufficiently large) space may belong to many paths that intersect there. This, together with the previous construction, shows us that no distribution uniquely determines a family to which it belongs.
The family CYCY of all finite-variance absolutely continuous distributions is not parametric. The proof requires a deep theorem of topology: if we endow CYCY with any topology (whether statistically useful or not) and p:Θ→CYp:Θ→CY is continuous and locally has a continuous inverse, then locally CYCY must have the same dimension as that of ΘΘ. However, in all statistically meaningful topologies, CYCY is infinite dimensional.