ডেটা সম্ভাব্যতা বন্টন অনুমান করার জন্য বিভিন্ন নন-প্যারাম্যাট্রিক পদ্ধতি

Question

আমার কিছু তথ্য আছে এবং এটিতে একটি মসৃণ বক্ররেখার ফিট করার চেষ্টা করছিলাম। যাইহোক, আমি এটির উপর পূর্ববর্তী অনেকগুলি বিশ্বাস বা খুব দৃ strong় প্রাক ধারণাগুলি (আমার বাকী বাকী দ্বারা আবদ্ধ হওয়া ব্যতীত) বা কোনও নির্দিষ্ট বিতরণ প্রয়োগ করতে চাই না।

আমি কেবল এটি কিছু মসৃণ বক্ররেখার সাথে ফিট করতে চেয়েছি (বা সম্ভবত এটির সম্ভাবনা বন্টনের একটি ভাল অনুমান আছে)। এটি করার জন্য আমি কেবল একমাত্র পদ্ধতিটি হ'ল কার্নেল ঘনত্বের অনুমান (কেডিএ)। আমি ভাবছিলাম, লোকেরা যদি এই জাতীয় জিনিসটি অনুমান করার জন্য অন্যান্য পদ্ধতিগুলি জানত। আমি কেবল তাদের একটি তালিকা চেয়েছিলাম এবং সেগুলি থেকে আমি কোনটি ব্যবহার করতে চাই তা জানতে নিজের গবেষণা করতে পারি।

যে কোনও লিঙ্ক বা ভাল রেফারেন্স দেওয়া (বা যেগুলি ভাল সেগুলির অন্তর্ভুক্তি) সর্বদা স্বাগতম (এবং উত্সাহিত হয়)!

Comments

" আমি এর উপর পূর্বের কোনও বিশ্বাসের প্রয়োগ করতে চাইনি " - তবে আপনি এটি মসৃণ, এমনকি অবিচ্ছিন্নও ধরে নিতে পারবেন না (এগুলি পূর্ব বিশ্বাসগুলি হবে)। যে ক্ষেত্রে ইসিডিএফ আপনার একমাত্র আশ্রয় নিয়েছে।

— গ্লেন_বি -রিনস্টেট মনিকা

বিশ্বাসকে শক্তিশালী করা আমার প্রশ্নকে উচ্চারণের আরও ভাল উপায়। আমি বোঝাতে চাইনি যে আমি এটি বলে, বার্নোল্লি বা কিছু এমন কিছু যা সীমাবদ্ধ হতে পারে তা ধরে নিতে চাই না। আমি জানি না ইডিডিএফ বিটিডব্লু কী। আপনার যদি ভাল পরামর্শ বা পরামর্শের তালিকা থাকে তবে নির্দ্বিধায় এটি পোস্ট করুন।

— পিনোচিও

আমি আমার প্রশ্ন আপডেট করেছি। এটা কি ভালো? আরো স্পষ্ট? আমার প্রশ্নের সঠিক কোনও উত্তর নেই, কেবলমাত্র ভাল এবং কম দরকারী ones :)

— পিনোচিও

ecdf = অনুপ্রেরণামূলক সিডিএফ , দুঃখিত। আমরা আপনাকে কেবল যে প্রশ্নটি চেয়েছি তার উত্তর দিতে পারি, আপনি যা জিজ্ঞাসা করতে চেয়েছিলেন তা নয়, সুতরাং আপনার অনুমানগুলি প্রকাশ করার সময় আপনাকে পরিষ্কার হওয়ার বিষয়ে সতর্ক থাকতে হবে।

— গ্লেন_বি

একটি সাধারণ হিস্টোগ্রামকে ঘনত্বের অনুমান হিসাবে দেখা যেতে পারে

— ডেসন

Answer 1

আপনি উল্লেখ করতে পারবেন না যে আপনি অবিচ্ছিন্ন র্যান্ডম ভেরিয়েবলের বিষয়ে কথা বলছেন, তবে আমি ধরে নেব, যেহেতু আপনি কে-ডি-কে উল্লেখ করেছেন, আপনি এটি করতে চান তা।

মসৃণ ঘনত্বের জন্য আরও দুটি উপায়:

1) লগ-স্প্লাইন ঘনত্বের অনুমান। লগ-ঘনত্বের জন্য এখানে একটি স্প্লাইন বক্ররেখা লাগানো হয়েছে।

একটি উদাহরণ কাগজ:

কোপারবার্গ এবং স্টোন (1991),
"লগস্প্লাইন ঘনত্ব অনুমানের একটি গবেষণা,"
গণনা পরিসংখ্যান এবং ডেটা বিশ্লেষণ , 12 , 327-347

Kooperberg তার কাগজ একটি পিডিএফ একটি লিঙ্ক প্রদান করে এখানে "1991" এর অধীনে।

আপনি যদি আর ব্যবহার করেন তবে এর জন্য একটি প্যাকেজ রয়েছে । এটি দ্বারা উত্পন্ন একটি ফিটের উদাহরণ এখানে । নীচে সেখানে সেট করা ডেটার লগগুলির একটি হিস্টোগ্রাম এবং উত্তর থেকে লগস্প্লাইন এবং কার্নেল ঘনত্বের অনুমানের পুনঃপ্রমাণ:

লগস্প্লাইন ঘনত্বের অনুমান:

কার্নেলের ঘনত্বের অনুমান:

2) সীমাবদ্ধ মিশ্রণ মডেল । এখানে বিতরণের কিছু সুবিধাজনক পরিবারকে বেছে নেওয়া হয়েছে (অনেক ক্ষেত্রে, সাধারণ), এবং ঘনত্বটি সেই পরিবারের বিভিন্ন সদস্যের মিশ্রণ বলে মনে করা হয়। নোট করুন যে কার্নেলের ঘনত্বের অনুমানগুলি এই জাতীয় মিশ্রণ হিসাবে দেখা যায় (গাউসিয়ান কার্নেলের সাথে, তারা গাউসিয়ানদের মিশ্রণ)।

সাধারণত এগুলি এমএল, বা ইএম অ্যালগরিদমের মাধ্যমে বা কিছু ক্ষেত্রে মুহুর্তের সাথে মেলানোর মাধ্যমে লাগানো যেতে পারে, যদিও বিশেষ পরিস্থিতিতে অন্যান্য পদ্ধতিগুলি সম্ভব হয়।

(আর-প্যাকেজগুলির আধিক্য রয়েছে যা বিভিন্ন ধরণের মিশ্রণ মডেলিং করে))

সম্পাদনায় যুক্ত হয়েছে:

3) গড় সরানো হিস্টোগ্রামগুলি
(যা আক্ষরিকভাবে মসৃণ নয় তবে সম্ভবত আপনার অস্থির মানদণ্ডের জন্য যথেষ্ট মসৃণ):

কিছু নির্ধারিত দ্বিবিধকে হিস্টোগ্রামের ক্রম গণনা করার কল্পনা করুন ($b$), একটি বিন-উত্স জুড়ে যা স্থানান্তরিত হয় $b/k$ কিছু সংখ্যার জন্য $k$প্রতিবার, এবং তারপরে গড় এটি বিনবিডথে করা কোনও হিস্টোগ্রামের মতো প্রথম নজরে দেখায়$b/k$, কিন্তু অনেক মসৃণ।

উদাহরণস্বরূপ, বিনবীদ 1 এ 4 টি হিস্টোগ্রামের প্রতিটি গণনা করুন, তবে + 0, + 0.25, + 0.5, + 0.75 দ্বারা অফসেট করুন এবং তারপরে যে কোনও উচ্চতায় গড় করুন $x$। আপনি এরকম কিছু দিয়ে শেষ করেছেন:

এই উত্তরটি থেকে চিত্রটি নেওয়া হয়েছে । আমি সেখানে যেমন বলেছি, আপনি যদি সেই স্তরের প্রয়াসে যান, আপনি সম্ভবত কার্নেল ঘনত্বের অনুমানও করতে পারেন।

Comments

এটি যোগ করতে। মিশ্রণ মডেলটির জন্য - আমি অনুমান করি যে আপনি 2, তারপরে 3, তারপরে 4 টি বিতরণ মিশ্রণটি ফিট করতে পারেন এবং লগ-সম্ভাবনা বা এরকম

— কোনও কিছুতে

Answer 2

মসৃণতা ইত্যাদির মতো অনুমানগুলি সম্পর্কে উপরের মন্তব্যের সাপেক্ষে আপনি ডাইরিচলেট প্রক্রিয়াটির পূর্বে মিশ্রণ মডেলগুলি ব্যবহার করে বায়সিয়ান ননপ্যারমেট্রিক ঘনত্বের অনুমান করতে পারেন।

নীচের চিত্রটিতে 'পুরানো বিশ্বস্ত' ডেটার জন্য বাইভারিয়েট সাধারণ ডিপি-মিশ্রণ মডেলের এমসিএমসি অনুমান থেকে প্রাপ্ত সম্ভাব্যতা ঘনত্বের তলদেশগুলি দেখায়। পয়েন্টগুলি শেষ এমসিএমসি পদক্ষেপে প্রাপ্ত ক্লাস্টারিং অনুযায়ী আইআইআরসি রঙিন হয়।

তেহ 2010 কিছু ভাল ব্যাকগ্রাউন্ড সরবরাহ করে।

Answer 3

"একজন জনপ্রিয় পছন্দ র্যান্ডম বন (এর মূর্তভাবে অধ্যায় পাঁচটি দেখতে হয় : একটি ইউনিফায়েড ক্লাসিফিকেশন, রিগ্রেশন, ঘনত্ব প্রাক্কলন, নানাবিধ শিক্ষা ও সেমি-তত্ত্বাবধানে থাকা শেখার জন্য ফ্রেমওয়ার্ক ডিসিশন বন "।

এটি অ্যালগরিদমকে বিস্তারিতভাবে বর্ণনা করে এবং অন্যান্য জনপ্রিয় পছন্দগুলি যেমন কে-মানে, জিএমএম এবং কেডি-র বিপরীতে মূল্যায়ন করে। র্যান্ডম ফরেস্ট আর এবং সাইকিট শিখতে প্রয়োগ করা হয়।

র্যান্ডম ফরেস্ট একটি চতুর উপায়ে সিদ্ধান্ত গাছ পেয়েছে।