* স্ট্যাটিস্টিকাল লার্নিং এর পরিচিতি * এর * ফাংশনগুলির পরিবর্তনের দ্বারা কী বোঝানো হয়?

Question

পিজি উপর পরিসংখ্যানগত শিক্ষার পরিচিতির 34 টি : $\newcommand{\Var}{{\rm Var}}$

যদিও গাণিতিক প্রমাণ এই বইয়ের সুযোগ পরলোক হল, এটা দেখানোর জন্য যে প্রত্যাশিত পরীক্ষা MSE, একজন প্রদত্ত মান সম্ভব $x_0$ : সবসময় তিনটি মৌলিক পরিমাণে এর সমষ্টি করা যায় পচে ভ্যারিয়েন্স এর $\hat{f}(x_0)$ , স্কোয়ারড পক্ষপাত এর $\hat{f}(x_0)$ এবং ত্রুটি পদ ভ্যারিয়েন্স $\varepsilon$ । এটাই,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] ভেরিয়েন্সটি সেই পরিমাণকে নির্দেশ করে যার দ্বারা $\hat{f}$ change পরিবর্তিত হবে যদি আমরা এটি অনুমান করি যে এটি কোনও ভিন্ন প্রশিক্ষণের ডেটা সেট ব্যবহার করে।

প্রশ্ন: যেহেতু \ ভার \ বিগ (\ টুপি {চ} (x_0) \ বিগ) ফাংশনের বিভিন্নতা$\Var\big(\hat{f}(x_0)\big)$ বোঝায় তাই আনুষ্ঠানিকভাবে এর অর্থ কী?

অর্থাৎ, আমি একটি এলোমেলো ভেরিয়েবল এক্স এর প্রকরণের ধারণার সাথে পরিচিত $X$, তবে কার্যকারিতার একটি সেটটির বৈচিত্র সম্পর্কে কী বলা যায়? এটিকে কি অন্য র্যান্ডম ভেরিয়েবলের বৈচিত্র হিসাবে বিবেচনা করা যেতে পারে যার মানগুলি কার্যকারিতা রূপ নেয়?

Comments

প্রদত্ত যে প্রতিটি সময় একটি সূত্র এটি একটি "প্রদত্ত মান" প্রয়োগ করা হয়েছে প্রদর্শিত , ভ্যারিয়েন্স প্রযোজ্য সংখ্যা , না নিজেই। যেহেতু সম্ভবত এই সংখ্যাটি এমন ডেটা থেকে তৈরি করা হয়েছে যা এলোমেলো ভেরিয়েবলের সাহায্যে মডেল করা হয়, সুতরাং এটি একটি (বাস্তব-মূল্যবান) এলোমেলো পরিবর্তনশীলও। প্রকরণের স্বাভাবিক ধারণা প্রযোজ্য। এক্স0 চ (এক্স0)$\hat f$$x_0$ $\hat{f}(x_0)$$\hat{f}$

— whuber

আমি দেখি. সুতরাং changing পরিবর্তন হচ্ছে (বিভিন্ন প্রশিক্ষণের ডেটা সেটগুলিতে পৃথক পৃথক), তবে আমরা এখনও তাদের । চ (এক্স0$\hat{f}$$\hat{f}(x_0)$

— জর্জে

এই পাঠ্যপুস্তকের রচয়িতা কে? আমি নিজেই বিষয়টি শিখতে চাইছি এবং আপনার রেফারেন্সের সুপারিশটির প্রশংসা করব।

— চিল 2ম্যাচট

@ উইলিয়ামক্রিনসম্যান

— ম্যাথু ড্রুরি

Answer 1

@ হুবারের সাথে আপনার চিঠিপত্রটি সঠিক।

একটি লার্নিং অ্যালগরিদম একটি উচ্চ স্তরের ফাংশন হিসাবে দেখা যায়, ফাংশনগুলিতে প্রশিক্ষণের সেট ম্যাপ করে।$\mathcal{A}$

$$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$$

যেখানে training possible হল সম্ভাব্য প্রশিক্ষণের সেটগুলির স্থান। ধারণাটিগতভাবে এটি কিছুটা লোমশ হতে পারে তবে মূলত প্রতিটি স্বতন্ত্র প্রশিক্ষণের সেটগুলি ফলাফল নির্ধারণ করে, মডেল প্রশিক্ষণের অ্যালগরিদম ব্যবহার করার পরে, একটি স্পিফিক ফাংশনে যা ডেটা পয়েন্ট ভবিষ্যদ্বাণী করা যায় । চ $\mathcal{T}$$f$$x$

যদি আমরা প্রশিক্ষণের সেটগুলির স্থানটিকে সম্ভাবনার স্থান হিসাবে দেখি, যাতে সম্ভাব্য প্রশিক্ষণের ডেটা সেটগুলির কিছু বিতরণ হয়, তবে মডেল প্রশিক্ষণ অ্যালগরিদম একটি ক্রিয়াকলাপের মূল্যবান র্যান্ডম ভেরিয়েবল হয়ে যায়, এবং আমরা পরিসংখ্যানগত ধারণাগুলি ভাবতে পারি। বিশেষত, আমরা যদি একটি নির্দিষ্ট ডেটা পয়েন্ট স্থির করি তবে আমরা মূল্যবান র্যান্ডম ভেরিয়েবলটি পাই$x_0$

$$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$$

অর্থাৎ, প্রথমে তে অ্যালগরিদম প্রশিক্ষণ দিন এবং তারপরে এ ফলাফল মডেলটি মূল্যায়ন করুন । এটি কেবল একটি সাধারণ প্লেইন, তবে সম্ভাব্যতার জায়গায় উদ্ভাবনীভাবে নির্মিত, এলোমেলো পরিবর্তনশীল, তাই আমরা এর বৈচিত্র সম্পর্কে কথা বলতে পারি। এটি আইএসএল থেকে আপনার সূত্রের বৈকল্পিকতা।x $T$$x_0$

Answer 2

বারবার কেফোল্ডস ব্যবহার করে একটি চাক্ষুষ ব্যাখ্যা

@ ম্যাথিউ ড্রুরির উত্তরটিকে একটি ভিজ্যুয়াল / স্বজ্ঞাত ব্যাখ্যা দেওয়ার জন্য নিম্নলিখিত খেলনা উদাহরণ বিবেচনা করুন।

• কোলাহলপূর্ণ সাইন বক্ররেখা থেকে ডেটা উত্পন্ন হয়: "সত্য noise শব্দ"$f(x) \ +$
• ডেটা প্রশিক্ষণ এবং পরীক্ষার নমুনাগুলির মধ্যে বিভক্ত (75% - 25%)
• একটি লিনিয়ার (বহুভিত্তিক) মডেল প্রশিক্ষণের ডেটাতে লাগানো হয়:$\hat f(x)$
• একই ডেটা ব্যবহার করে প্রক্রিয়াটি বহুবার পুনরাবৃত্তি হয় (যেমন বিভাজন প্রশিক্ষণ - এলোমেলোভাবে স্ক্লেয়ারিম পুনরাবৃত্তি কেফোল্ড ব্যবহার করে পরীক্ষা করা)
• এটি অনেকগুলি বিভিন্ন মডেল উত্পন্ন করে, যা থেকে আমরা প্রতিটি বিন্দুতে এর গড় এবং প্রকরণটি গণনা করি$x=x_i$ পাশাপাশি ।

ডিগ্রি 2 এবং ডিগ্রি 6 এর বহুপদী মডেলের জন্য ফলাফলের গ্রাফগুলির জন্য নীচে দেখুন প্রথম দর্শনে, মনে হয় উচ্চতর বহুবর্ষ (লাল রঙের) মধ্যে আরও বেশি বৈচিত্র রয়েছে।

যুক্তি দিয়ে যে লাল গ্রাফের আরও বৈচিত্র রয়েছে - পরীক্ষামূলকভাবে

যাক এবং যথাক্রমে সবুজ ও লাল গ্রাফ মিলা এবং গ্রাফ এক উদাহরণ হিসেবে বলা যায়, হালকা সবুজ এবং হালকা লাল হতে। যাক হতে বরাবর বিন্দুর সংখ্যা অক্ষ এবং গ্রাফ সংখ্যা (অর্থাত সিমিউলেশন সংখ্যা) দেখুন। এখানে আমাদের এবং চ দ চ (আমি)এনএক্সমিএন=400মিটার=$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

আমি তিনটি প্রধান দৃশ্য দেখতে পাচ্ছি see

1. একটি নির্দিষ্ট বিন্দু এ পূর্বাভাসিত মানগুলির বৃহত্তর অর্থাৎ ভী একটি দ [ { চ ( 1 ) দ ( এক্স 0 ) , । । । , চ ( মি ) দ ( এক্স 0 ) } ] > ভী একটি দ [ { চ ( 1 ) ছ ( এক্স 0 ) , । । । , চ ( $x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. মধ্যে বিরোধ মহান সব পয়েন্ট জন্য সীমার মধ্যে { x 1 , । । । , এক্স 400 } ( 0 , 1 $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. বৈকল্পিক গড়ের চেয়ে বেশি হয় (অর্থাত্ কিছু পয়েন্টের জন্য এটি ছোটও হতে পারে)

এই খেলনা উদাহরণের ক্ষেত্রে, তিনটি পরিস্থিতিই পরিসীমা উপরে সত্য বলে ধরেছে যা এই যুক্তিটিকে ন্যায্য করে যে উচ্চতর অর্ডার বহুপদী ফিট (লাল রঙে) নিম্ন আদেশের বহুভুজের (সবুজ বর্ণের) চেয়ে উচ্চতর পার্থক্য রয়েছে।$(0,1)$

একটি মুক্ত সমাপ্তি উপসংহার

কি যুক্তি দিতে হবে যখন উপরোক্ত তিনটি পরিস্থিতিতে না সব রাখা। উদাহরণস্বরূপ, যদি লাল পূর্বাভাসের ভিন্নতা গড়ে গড়ে আরও বেশি হয় তবে সমস্ত পয়েন্টের জন্য নয়।

লেবেলের বিশদ

বিবেচনা করুন$x_0 = 0.5$

• ত্রুটি বারটি কমপক্ষে এবং সর্বোচ্চ এর মধ্যে সীমা$\hat f(x_0)$
• তে গণনা করা হয়$x_0$
• সত্য হ'ল বিন্দু নীল রেখা$f(x)$

Comments

আমি ছবি ব্যবহার করে একটি ধারণা চিত্রিত করার এই ধারণাটি পছন্দ করি। আপনার পোস্টের দুটি দিক সম্পর্কে আমি অবাক হয়েছি, এবং আশা করি আপনি সেগুলি সমাধান করতে সক্ষম হবেন। প্রথমত, আপনি কী আরও স্পষ্টভাবে ব্যাখ্যা করতে পারেন যে এই প্লটগুলি "কোনও ফাংশনের রূপ" কীভাবে দেখায়? দ্বিতীয়ত, এটি মোটেও পরিষ্কার নয় যে লাল প্লটটি "বৃহত্তর বৈচিত্র্য" প্রদর্শন করে বা এমনকি দুটি প্লট এমন সরল তুলনার জন্য উপযুক্ত। উদাহরণস্বরূপ, উপরে লাল মানের উল্লম্ব বিস্তারটি বিবেচনা করুন এবং এটিকে একই বিন্দুতে সবুজ মানের প্রসারের সাথে তুলনা করুন: সবুজ বর্ণের চেয়ে কিছুটা কম স্প্রেড দেখায় । $x=0.95,$

— whuber

আমার বক্তব্য উচ্চতর নির্ভুলতার সাথে আপনার প্লটগুলি পড়া সম্ভব কিনা তা নয়: এটি এমন দুটি প্লটের তুলনা করার অর্থ যদি অন্যটির তুলনায় একজনকে "উচ্চতর" বা "নিম্ন" বৈকল্পিক হিসাবে বিবেচনা করা যেতে পারে তবে সম্ভাব্যতার সম্ভাবনা থাকলে পূর্বাভাসের কিছু ব্যাপ্তি এক প্লটে উচ্চতর হবে এবং অন্যান্য পরিসীমাগুলির জন্য রূপগুলি কম হবে। $x$$x$

— whuber

হ্যাঁ আমি সম্মত - আপনার মন্তব্যগুলি

— প্রতিবিম্বিত