পরিসংখ্যান এবং বড় তথ্য

tl; dr: শূন্যের নীচে উত্পন্ন ডেটাসেট দিয়ে শুরু করে আমি প্রতিস্থাপনের সাথে কেসগুলি পুনরায় প্রতিস্থাপন করেছি এবং প্রতিটি পুনরায় মডেল করা ডেটাসেটের জন্য হাইপোথিসিস পরীক্ষা চালিয়েছি। এই অনুমান পরীক্ষাগুলি নালটিকে সময়ের 5% এরও বেশি প্রত্যাখ্যান করে। নীচে, খুব সাধারণ সিমুলেশনটিতে, আমি দিয়ে ডেটাসেট তৈরি করি এবং আমি প্রত্যেকের কাছে একটি …

10 r  bootstrap  simulation  resampling 

ধরুন আমি ধারাবাহিক বিতরণ থেকে নমুনা নিতে চাই । আমার যদি ফর্মটিতে একটি এক্সপ্রেশন থাকেপিp(x)p(x)p(x)ppp p(x)=∑i=1∞aifi(x)p(x)=∑i=1∞aifi(x)p(x) = \sum_{i=1}^\infty a_i f_i(x) যেখানে , এবং f_i এমন বিতরণ যা সহজেই নমুনা থেকে নেওয়া যায়, তারপরে আমি পি দ্বারা সহজেই নমুনা তৈরি করতে পারি :ai⩾0,∑iai=1ai⩾0,∑iai=1a_i \geqslant 0, \sum_i a_i= 1fifif_ippp সম্ভাব্যতা a_i সহ …

10 simulation  monte-carlo  mixture  accept-reject 

আমার কিছু পর্যবেক্ষণ রয়েছে এবং আমি এই পর্যবেক্ষণগুলির উপর ভিত্তি করে স্যাম্পলিং নকল করতে চাই। এখানে আমি একটি প্যারামিটারিক নন মডেল বিবেচনা করি, বিশেষত, আমি সীমিত পর্যবেক্ষণগুলি থেকে একটি সিডিএফ অনুমান করার জন্য কর্নেল স্মুথিং ব্যবহার করি hen তখন আমি প্রাপ্ত সিডিএফ থেকে এলোমেলোভাবে মানগুলি আঁকি following নীচে আমার কোডটি …

10 sampling  matlab  kernel-smoothing  density-estimation 

আমি বায়েশিয়ান পরিসংখ্যান শেখানোর জন্য কিছু "বাস্তব বিশ্বের উদাহরণ" সন্ধান করতে চাই। বায়েশিয়ান পরিসংখ্যান একজনকে পূর্বের জ্ঞানকে বিশ্লেষণে আনুষ্ঠানিকভাবে অন্তর্ভুক্ত করতে দেয়। আমি শিক্ষার্থীদের তাদের বিশ্লেষণে পূর্ববর্তী জ্ঞানকে অন্তর্ভুক্ত করার কয়েকটি সহজ বাস্তব বিশ্বের উদাহরণ দিতে চাই যাতে শিক্ষার্থীরা কেন প্রথম স্থানে বায়সিয়ান পরিসংখ্যান ব্যবহার করতে চায় তার প্রেরণাকে আরও …

10 bayesian  teaching 

লাসো রিগ্রেশন সম্পর্কে আমার বোঝা হ'ল যে ক্ষুদ্রতরকরণ সমস্যা সমাধানের জন্য রিগ্রেশন সহগগুলি নির্বাচন করা হয়েছে: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t অনুশীলনে সমস্যাটি সমাধানের জন্য ল্যাগরেঞ্জ গুণক ব্যবহার করে এটি করা হয় minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 মধ্যে সম্পর্ক কি …

10 optimization  lasso  regularization  lagrange-multipliers 

আমি সাইটের মাধ্যমে পড়তে বেশিরভাগ উত্তরগুলি পরামর্শ দেয় যে মেশিন লার্নিং অ্যালগরিদমে ক্রস বৈধকরণ করা উচিত। যাইহোক যখন আমি "বোঝার মেশিন লার্নিং" বইটি পড়ছিলাম তখন দেখলাম একটি অনুশীলন রয়েছে যে কখনও কখনও ক্রস বৈধতা না ব্যবহার করা ভাল। আমি সত্যি বিভ্রান্ত. যখন পুরো ডেটাতে অ্যালগরিদমকে প্রশিক্ষণ দেওয়া হয় তখন ক্রস-বৈধতার …

10 machine-learning  self-study  cross-validation 

আশ্চর্যের সাথে, সম্ভাবনা হ'ল একটি ফাংশন যা প্রতিটি ইভেন্ট জন্য একটি আসল সংখ্যা নির্ধারণ করে যদি এটি তিনটি মৌলিক অনুমান (কোলমোগোরভের অনুমান) কে সন্তুষ্ট করে:PPPP(A)P(A)P(A)AAA P(A)≥0 for everyAP(A)≥0 for everyAP(A) \geq 0 \ \text{for every} A P(Ω)=1P(Ω)=1P(\Omega) = 1 If A1,A2,⋯are disjoint, thenP(⋃∞i=1Ai)=∑i=1∞P(Ai)If A1,A2,⋯are disjoint, thenP(⋃i=1∞Ai)=∑i=1∞P(Ai)\text{If} \ A_1, A_2, \cdots …

10 probability  kolmogorov-axioms 

স্ট্যান্ডার্ড শিক্ষণ বলছে যে সংবেদনশীলতা এবং সুনির্দিষ্টতা পরীক্ষার বৈশিষ্ট্য এবং প্রসার থেকে স্বতন্ত্র। তবে এটি কি কেবল অনুমান নয়? হ্যারিসনের অভ্যন্তরীণ মেডিসিনের 19 তম নীতিতে বলা হয়েছে এটি দীর্ঘদিন ধরেই দৃserted়ভাবে বলা হয়েছে যে সংবেদনশীলতা এবং সুনির্দিষ্টতা পরীক্ষার যথার্থতার প্রচলিত-স্বতন্ত্র পরামিতি এবং অনেকগুলি পাঠ্য এখনও এই বিবৃতি দেয়। এই পরিসংখ্যানগতভাবে …

10 bayesian  epidemiology  diagnostic  sensitivity-specificity 

আমি লিনিয়ার রিগ্রেশন সংশোধন করছি। গ্রিনের পাঠ্যপুস্তকটিতে বলা হয়েছে: এখন অবশ্যই লিনিয়ার রিগ্রেশন মডেল সম্পর্কিত অন্যান্য অনুমান থাকবে যেমন । লিনিয়ারিটি অনুমানের সাথে মিলিত এই অনুভূতি (যা কার্যকরীভাবে সংজ্ঞায়িত করে ), মডেলটির কাঠামো রাখে।ϵই( ϵ | এক্স) = 0E(ϵ|X)=0E(\epsilon|X)=0εϵ\epsilon যাইহোক, লিনিয়ারিটি অনুমান নিজে থেকেই আমাদের মডেলের কোনও কাঠামো রাখে না, …

10 econometrics  linear-model  assumptions  causality  definition 

একজন অনুমানকারী এবং অনুমান কী তা সম্পর্কে আমার বোধগম্যতা: অনুমানক: একটি অনুমান গণনা করার নিয়ম প্রাক্কলন: অনুমানের ভিত্তিতে ডেটার সেট থেকে গণনা করা মান এই দুটি শর্তের মধ্যে, যদি আমাকে র্যান্ডম ভেরিয়েবলটি নির্দেশ করতে বলা হয়, আমি বলব অনুমানটি এলোমেলো পরিবর্তনশীল কারণ এর মানটি ডেটাসেটের নমুনার ভিত্তিতে এলোমেলোভাবে পরিবর্তিত হবে। …

10 mathematical-statistics  inference  random-variable  estimators 

আমার মনে একটি নির্দিষ্ট উদাহরণ বা কাজ নেই। আমি বি-স্প্লাইনগুলি ব্যবহারের ক্ষেত্রে কেবল নতুন এবং আমি রিগ্রেশন প্রসঙ্গে এই ফাংশনটির আরও ভাল ধারণা পেতে চাই। ধরা যাক আমরা প্রতিক্রিয়ার ভেরিয়েবল এবং কিছু ভবিষ্যদ্বাণী মধ্যে সম্পর্কটি মূল্যায়ন করতে চাই । ভবিষ্যদ্বাণীকারীদের মধ্যে কয়েকটি সংখ্যাসূচক ভেরিয়েবলের পাশাপাশি কিছু শ্রেণীবদ্ধগুলি অন্তর্ভুক্ত থাকে।yyyx1,x2,...,xpx1,x2,...,xpx_1, x_2,...,x_p …

10 regression  multiple-regression  splines  polynomial  penalized 

মাত্রিকতার অভিশাপের কথা উল্লেখ করার সময় এটি প্রায়শই উদ্ধৃত করা হয় এবং যায় (আপেক্ষিক বৈপরীত্য বলা ডান হাতের সূত্র) লিমঘ→ ∞var ( | | এক্স)ঘ| |টই[ | | এক্সঘ| |ট]) =0,তারপরে: ডিসর্বোচ্চটঘ- ডিসর্বনিম্নটঘডিসর্বনিম্নটঘ→ 0লিমঘ→∞Var(||এক্সঘ||টই[||এক্সঘ||ট])=0,তারপর:ডিসর্বোচ্চঘট-ডিসর্বনিম্নঘটডিসর্বনিম্নঘট→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 উপপাদ্যের ফলাফলটি দেখায় …

10 machine-learning  distance-functions  high-dimensional 

পিটম্যান – কোপম্যান – ডারমোইস উপপাদ্য বলেছেন যে সম্ভাবনা বিতরণের প্যারাম্যাট্রাইজড পরিবারের কোনও আইআইডি নমুনা যদি পর্যাপ্ত পরিসংখ্যানকে স্বীকার করে যার স্কেলারের উপাদানগুলির নমুনা আকারের সাথে বৃদ্ধি হয় না, তবে এটি ক্ষতিকারক পরিবার। কোনও পাঠ্যপুস্তক বা প্রাথমিক এক্সপোজিটরি কাগজপত্র কী প্রমাণ দেয়? কেন এই তিন ব্যক্তির নামকরণ করা হয়েছে?

10 mathematical-statistics  references 

মডেলিং এবং সিমুলেশনে একটি ঘন সরলকরণ হ'ল তার গড় মান দ্বারা একটি এলোমেলো পরিবর্তনশীলকে প্রতিস্থাপন করা। এই সরলীকরণ কখন ভুল উপসংহারে নিয়ে যাবে?

10 modeling  mean  random-variable 

নীচে সিম্পসনের প্যারাডক্সের অস্তিত্বের 'চিত্র দ্বারা প্রমাণ' হিসাবে দেওয়া বহু ভিজ্যুয়ালাইজেশন এবং সম্ভবত পরিভাষা সম্পর্কে একটি প্রশ্ন রয়েছে। সিম্পসনের প্যারাডক্সটি বর্ণনা করার জন্য এবং সংখ্যাসূচক উদাহরণ দেওয়ার জন্য ( কেন এটি ঘটতে পারে তা গভীর এবং আকর্ষণীয়) এর পক্ষে মোটামুটি সহজ ঘটনা phenomen প্যারাডক্সটি হ'ল 2x2x2 কন্টিনজেন্সি টেবিল রয়েছে (অ্যাগ্রেস্টি, …

10 mathematical-statistics  data-visualization  causality  contingency-tables  simpsons-paradox