অবিচ্ছিন্ন বিতরণ থেকে ডেটার একটি অনুকূল বিবেচনার নির্ধারণ করা

ধরুন আপনার কাছে ডেটা সেট রয়েছে $Y_{1}, ..., Y_{n}$ ঘনত্ব সহ অবিচ্ছিন্ন বিতরণ থেকে সমর্থিত যা জানা যায় না তবে বেশ বড় তাই কার্নেলের ঘনত্ব (উদাহরণস্বরূপ) অনুমান, , বেশ নিখুঁত. একটি নির্দিষ্ট অ্যাপ্লিকেশনের জন্য আমার নিরীক্ষিত তথ্যকে একটি অন্তর্নির্মিত গণ ফাংশন সহ একটি নতুন ডেটা সেট set জন্য সীমাবদ্ধ সংখ্যার বিভাগে রূপান্তর করতে হবে । $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

একটি সাধারণ উদাহরণটি যখন এবং যখন । এক্ষেত্রে প্ররোচিত ভর কর্ম হবে $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

এখানে দুটি "টিউনিং প্যারামিটার" প্রান্তিকের সংখ্যা, এবং প্রান্তিকের দৈর্ঘ্যের ভেক্টর । Mass দ্বারা প্ররোচিত গণ ফাংশনটি চিহ্নিত করুন । $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

আমি এমন একটি পদ্ধতি চাই যা উত্তর দেয়, উদাহরণস্বরূপ, " সবচেয়ে ভাল পছন্দ কী যাতে দলের সংখ্যা বাড়িয়ে (এবং সেখানে অনুকূল বেছে নেওয়া ) একটি নগণ্য উন্নতি পেতে পারে?" । আমি মনে করি সম্ভবত একটি পরীক্ষার পরিসংখ্যান তৈরি করা যেতে পারে (সম্ভবত কেএল ডাইভারজেনের পার্থক্যের সাথে বা অনুরূপ কিছু) যার বিতরণটি উত্পন্ন হতে পারে। কোন ধারণা বা প্রাসঙ্গিক সাহিত্য? $m, \lambda$ $m+1$ $\lambda$

সম্পাদনা: আমি অবিচ্ছিন্নভাবে পরিবর্তনশীলগুলির সাময়িকভাবে পরিমাপের স্থানকে পৃথক করে রেখেছি এবং অস্থায়ী মার্কোভ চেইনটি অস্থায়ী নির্ভরতার মডেল হিসাবে ব্যবহার করছি। স্পষ্টতই, পৃথক রাষ্ট্রের মার্কভ চেইনগুলি পরিচালনা করা অনেক সহজ এবং এটিই আমার প্রেরণা। পর্যবেক্ষণ করা তথ্য শতাংশ। আমি বর্তমানে একটি অ্যাডহক বিচক্ষণতা ব্যবহার করছি যা আমার কাছে খুব ভাল দেখাচ্ছে তবে আমি মনে করি এটি একটি আকর্ষণীয় সমস্যা যেখানে একটি আনুষ্ঠানিক (এবং সাধারণ) সমাধান সম্ভব।

সম্পাদনা 2: প্রকৃতপক্ষে কেএল ডাইভারজেন্সকে হ্রাস করা তথ্যটিকে মোটেও বিবেচনা না করার সমতুল্য হবে, সুতরাং এই ধারণাটি সম্পূর্ণরূপে বহির্ভূত। আমি সেই অনুযায়ী শরীর সম্পাদনা করেছি।

continuous-data discrete-data

— ম্যাক্রো
সূত্র

বেশিরভাগ ক্ষেত্রে অনুসরণ-এর অ্যাপ্লিকেশনগুলির প্রয়োজনীয়তা যে কোনও সমাধানের সার্থকতা নির্ধারণ করবে। সম্ভবত, আমাদের কিছু নির্দেশনা দেওয়ার জন্য, আপনি সে সম্পর্কে আরও বলতে পারেন।

— whuber

প্রথমত, সংজ্ঞায়িত আপনার দ্বারা কি বোঝাতে চেয়েছেন তুচ্ছ । অফ হ্যান্ড, এটি হার-বিকৃতি সমস্যার সাথে সম্পর্কিত বলে মনে হচ্ছে । কভার & টমাস টেক্সট যেমন বিষয় একটা চমৎকার পাঠযোগ্য ভূমিকা প্রদান করে।

— কার্ডিনাল

আমি পরামিতি (প্রান্তিকের জন্য) সহ একটি মডেলের মতো স্তরের সাথে বিবেচনার বিবেচনা করি । এই সেটিংয়ে আমি যখন নগণ্য বলি তখন আমি একটি পরিসংখ্যানগত দিক থেকে "অতিরিক্ত প্যারামিটার যোগ করার পক্ষে মূল্যহীন" না।

k

$k$

k - 1

$k-1$

— ম্যাক্রো

আমি নিশ্চিত নই যে বিচক্ষণতা আসলে একটি ভাল পদক্ষেপ। আপনার পর্যবেক্ষণের মূল জায়গাতে বিযুক্ত মানগুলি যে সীমানা তৈরি করে সেগুলি আপনি সাধারণ করতে সক্ষম হবেন না।

— বায়ারজ

আমি কিছুক্ষণ আগে এই সমস্যার সাথে আমি যে সমাধানটি নিয়ে এসেছি সেগুলি ভাগ করতে চলেছি - এটি কোনও আনুষ্ঠানিক পরিসংখ্যানগত পরীক্ষা নয় তবে এটি একটি দরকারী হিউরিস্টিক সরবরাহ করতে পারে।

সাধারণ ক্ষেত্রে যেখানে আপনি ক্রমাগত পর্যবেক্ষণ আছে বিবেচনা করুন ; সাধারণতার ক্ষতি ছাড়াই ধরুন প্রতিটি পর্যবেক্ষণের নমুনা স্থান হ'ল বিরতি । একটি শ্রেণিবদ্ধকরণ প্রকল্পটি বিভিন্ন বিভাগ, এবং অবস্থানের প্রান্তিকের উপর নির্ভর করে যা বিভাগগুলিকে বিভক্ত করে, । $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

দ্বারা শ্রেণীবদ্ধ সংস্করণটি উল্লেখ করুন , যেখানে । মূল ডেটাগুলিকে শ্রেণিতে বিভাজন হিসাবে ডেটার বিচক্ষণতার কথা , of এর প্রকরণটি একটি নির্দিষ্ট মূল্যের জন্য, গ্রুপের মধ্যে এবং মধ্যে পার্থক্যের সংমিশ্রণ হিসাবে ভাবা যেতে পারে : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

যদি সেখানে গ্রুপ ভ্যারিয়েন্স মধ্যে অপেক্ষাকৃত অল্প দ্বারা সংখ্যায় একটি প্রদত্ত শ্রেণীবদ্ধকরণ সমজাতীয় গ্রুপ উৎপাদন এ সফল হয়। অতএব , আমরা একটি মিতব্যায়ী গোষ্ঠী যে সফর তারতম্য সবচেয়ে চাইতে থেকে। সময়ের বিশেষ করে, আমরা নির্বাচন করতে চান যে অতিরিক্ত মাত্রা যোগ করে, আমরা উল্লেখযোগ্যভাবে গোষ্ঠী সমসত্ত্বতা মধ্যে জুড়বেন না তাই। সাথে এই মন হয়, আমরা অনুকূল সংজ্ঞায়িত একটি নির্দিষ্ট মানের জন্য হতে $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

কি পছন্দ পর্যাপ্ত তা নির্ধারণের জন্য মোটামুটি ডায়াগনস্টিকটি হ'ল ক্রিয়া হিসাবে - এই ট্রাজেক্টোরিটি একঘেয়েভাবে অ-বর্ধমান এবং এটি তীব্র হ্রাস পাওয়ার পরে আপনি দেখতে পাবেন যে আপনি আরও বিভাগ যুক্ত করে তুলনামূলকভাবে কম নির্ভুলতা অর্জন করছেন। এই হিউরিস্টিক আত্মার ক্ষেত্রেও একই রকম, " স্ক্রি প্লট " কীভাবে অনেকগুলি মূল উপাদানগুলি তারতম্যের "যথেষ্ট" ব্যাখ্যা করে তা দেখতে কখনও কখনও ব্যবহৃত হয়। $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— ম্যাক্রো
সূত্র