পরিসংখ্যান এবং বড় তথ্য

আমার কাছে সর্বাধিক জনপ্রিয় সংগীত শিল্পীদের সম্পর্কে আকর্ষণীয় তথ্য রয়েছে যা প্রায় 200 কংগ্রেসনাল জেলাতে লোকেশন দ্বারা বিভক্ত। আমি দেখতে চাই যে কোনও ব্যক্তিকে তার সংগীত পছন্দগুলি নিয়ে পোল করা এবং তিনি "ডেমোক্র্যাটের মতো শুনেন" বা "রিপাবলিকানের মতো শুনেন কিনা" তা নির্ধারণ করতে পারে কিনা। (স্বাভাবিকভাবেই এটি হালকা হৃদয়যুক্ত, তবে …

14 correlation  prediction  pooling  weighted-data 

সিম্পসনের প্যারাডক্স সম্পর্কে আমার সম্ভবত পরিষ্কার ধারণা নেই । অনানুষ্ঠানিকভাবে আমি জানি যে প্রতিক্রিয়া ওয়াই 1, ফ্যাক্টর এ এর ​​সমস্ত সম্ভাব্য স্তরের উপরে গোষ্ঠীযুক্ত, এ এর ​​সমস্ত স্তরের প্রতিক্রিয়া ওয়াই 2 এর গড়ের চেয়ে বেশি হতে পারে, এমনকি এ এর ​​প্রতিটি স্তরের (প্রতিটি গ্রুপ) জন্য যদি ওয়াই 1 এর গড় …

14 mathematical-statistics  simpsons-paradox 

কিছু ক্ষেত্রে, পূর্ণ বহুমাত্রিক মডেলটির আগে জেফরিগুলি উত্পন্নভাবে অপর্যাপ্ত হিসাবে বিবেচিত হয়, এটি উদাহরণস্বরূপ: (যেখানে ε ~ এন ( 0 , σ 2 ) সঙ্গে μ এবং σ অজানা) যেখানে পূর্বে নিম্নলিখিত prefered হয় (সম্পূর্ণ জেফ্রিস পূর্বে π ( μ , σ ) α σ - 2 ): P ( …

14 distributions  bayesian  estimation  prior  jeffreys-prior 

এমসিএমসি পদ্ধতিগুলির কি বড় আকারের অধ্যয়ন হয়েছে যা পরীক্ষার ঘনত্বের স্যুটটিতে বিভিন্ন বিভিন্ন অ্যালগরিদমের পারফরম্যান্সের তুলনা করে? আমি রিওস এবং সহিনিডিসের কাগজ (২০১৩) এর সমতুল্য কিছু নিয়ে ভাবছি , যা পরীক্ষার বিভিন্ন শ্রেণির বহু সংখ্যক ডেরাইভেটিভ-মুক্ত ব্ল্যাক-বাক্স অপটিমাইজারের একটি সম্পূর্ণ তুলনা। এমসিএমসির জন্য, পারফরম্যান্সটি অনুমান করা যায়, যেমন, ঘনত্ব মূল্যায়নের …

14 machine-learning  bayesian  references  mcmc 

দ্রষ্টব্য: SSTSSTSST = স্কোয়ারের মোটের সমষ্টি, SSESSESSE = = স্কোয়ার ত্রুটির সমষ্টি , এবং SSRSSRSSR = = স্কোয়ারগুলির রেজিস্ট্রেশন সমষ্টি। শিরোনামে সমীকরণটি প্রায়শই এইভাবে লেখা হয়: ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 খুব সোজা প্রশ্ন, কিন্তু আমি একটি স্বজ্ঞাত ব্যাখ্যা খুঁজছি। Intuitively, এটা আমার মনে হচ্ছে মত SST≥SSE+SSRSST≥SSE+SSRSST\geq …

14 regression  least-squares  r-squared 

এই প্রশ্নটি লিনিয়ার মডেলের একটি নির্দিষ্ট সংস্করণে সীমাবদ্ধ সর্বাধিক সম্ভাবনার (আরএমএল) অনুমানের সাথে সম্পর্কিত, যথা: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), যেখানে হ'ল একটি ( ) ম্যাট্রিক্স প্যারামেট্রাইজড , যেমন । হ'ল উপদ্রব পরামিতিগুলির একটি অজানা ভেক্টর; সুদ আনুমানিক হিসাব রয়েছে , এবং আমরা আছে ট …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

আমার কাছে এমন কিছু ডেটা রয়েছে যা আমি মসৃণ করতে চাই যাতে স্মুথড পয়েন্টগুলি একঘেয়েমি হ্রাস পাচ্ছে। আমার ডেটা দ্রুত হ্রাস পায় এবং তারপরে মালভূমি শুরু হয়। এখানে আর ব্যবহার করে একটি উদাহরণ দেওয়া হল df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() আমি ব্যবহার করতে পারি একটি ভাল স্মুথ কৌশল …

14 regression  smoothing 

আমি কম্পিউটার দৃষ্টিভঙ্গিতে একটি অসুস্থ পোজযুক্ত সমস্যার জন্য অপ্টিমাইজেশন সম্পর্কে পড়ছিলাম এবং উইকিপিডিয়ায় অপ্টিমাইজেশান সম্পর্কে নীচের ব্যাখ্যাটি পেয়েছিলাম। আমি যা বুঝতে পারি না তা হ'ল তারা কেন এই অপ্টিমাইজেশনটিকে কম্পিউটার ভিশনে " এনার্জি মিনিমাইজেশন " বলে? একটি অপ্টিমাইজেশন সমস্যা নিম্নলিখিত উপায়ে উপস্থাপন করা যেতে পারে: প্রদত্ত: একটি ফাংশন কিছু সেট …

14 machine-learning  optimization  computer-vision 

এই প্রশ্নটি থেকেই প্রশ্নটি উত্সাহিত হয়: কখন (যদি কখনও হয়) ঘন ঘনবাদী দৃষ্টিভঙ্গি কোনও বায়েশিয়ার চেয়ে যথেষ্ট ভাল? যেহেতু আমি এই প্রশ্নের আমার সমাধানটিতে পোস্ট করেছি, আমার মতে, আপনি যদি ঘন ঘন ঘনবাদী হন তবে আপনাকে সম্ভবত বিশ্বাসের নীতিটি বিশ্বাস করতে হবে না / যেহেতু প্রায়শই সময় ঘন ঘনবাদী পদ্ধতিগুলি …

14 bayesian  likelihood  likelihood-principle 

ভিতরে ভাবছেন, দ্রুত এবং ধীর , ড্যানিয়েল Kahneman নিম্নলিখিত প্রকল্পিত প্রশ্ন ভঙ্গি: (পৃষ্ঠা 186) জুলি বর্তমানে একটি রাজ্য বিশ্ববিদ্যালয়ের সিনিয়র। তিনি যখন চার বছর বয়সে সাবলীলভাবে পড়া। তার গ্রেড পয়েন্ট গড় (জিপিএ) কত? তাঁর উদ্দেশ্য হ'ল নির্দিষ্ট পরিসংখ্যান সম্পর্কে ভবিষ্যদ্বাণী করার সময় আমরা কীভাবে প্রতিরোধের জন্য দায়বদ্ধ হতে ব্যর্থ হই …

14 standard-deviation  regression-coefficients  regression-to-the-mean 

গাউসীয় মিশ্রণ মডেলগুলি (জিএমএম) আবেদন করছে কারণ তারা বিশ্লেষণাত্মকভাবে এবং অনুশীলনে উভয়ের সাথেই কাজ করা সহজ এবং খুব বেশি জটিলতা ছাড়াই কিছু বিদেশী বিতরণকে মডেলিং করতে সক্ষম। এমন কয়েকটি বিশ্লেষণাত্মক বৈশিষ্ট্য রয়েছে যা আমাদের ধরে রাখা উচিত যা সাধারণভাবে পরিষ্কার নয়। নির্দিষ্টভাবে: বলুন হল উপাদানগুলির সাথে সমস্ত গসিয়ান মিশ্রণের শ্রেণি …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

কেন নিরবিচ্ছিন্নভাবে স্বাধীন বোঝানো হয় না তা ব্যাখ্যা করার জন্য, বেশ কয়েকটি উদাহরণ রয়েছে যা র‌্যান্ডম ভেরিয়েবলগুলির একগুচ্ছের সাথে জড়িত, তবে সেগুলি সমস্ত বিমূর্ত বলে মনে হয়: 1 2 3 4 । এই উত্তরটি বোধগম্য মনে হয়। আমার ব্যাখ্যা: একটি এলোমেলো পরিবর্তনশীল এবং এর বর্গক্ষেত্রটি অসংযোজিত হতে পারে (যেহেতু পারস্পরিক …

14 correlation  independence  non-independent  garch  intuition 

আসুন আমরা এলোমেলো ভেরিয়েবলগুলির একটি স্ট্রিম যোগ করি, ; দিন পদ সংখ্যা আমরা মোট প্রয়োজন এক অতিক্রম হও, অর্থাত সবচেয়ে ছোট সংখ্যা যেমন যে হয়এক্স আই আমি আই ডি ∼ ইউ ( 0 , 1 ) Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1)ওয়াই YYওয়াইYY এক্স 1 + এক্স 2 + ⋯ + এক্স ওয়াই …

14 probability  self-study  expected-value  uniform 

পরিসংখ্যানগত অনুমানের শাস্ত্রীয় চিকিত্সা এই ধারনাটির উপর নির্ভর করে যে একটি সঠিকভাবে নির্দিষ্ট পরিসংখ্যান ব্যবহৃত হয় তা বিদ্যমান। অর্থাত, পর্যবেক্ষণ করা তথ্য y তৈরি করা বিতরণটি পরিসংখ্যানের মডেল M : P ∗ ( Y ) ∈ M = { P θ ( Y ) : θ ∈ Θ } তবে …

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

কোভেরিয়েন্স ম্যাট্রিক্সের ইগেনভেেক্টরগুলির দিকে তাকানোর সময় আমরা সর্বাধিক বৈকল্পিকের দিকনির্দেশ পাই (প্রথম ইগেনভেেক্টরটি সেই দিক যা ডেটা সর্বাধিক পরিবর্তিত হয় ইত্যাদি); একে বলা হয় মূল উপাদান বিশ্লেষণ (পিসিএ)। আমি ভাবছিলাম যে মিউচুয়াল ইনফরমেশন ম্যাট্রিক্সের ইগেনভেেক্টর / মানগুলি দেখার অর্থ কী, তারা কি সর্বাধিক এনট্রপির দিক নির্দেশ করবে?

14 pca  entropy  mutual-information  eigenvalues