পরিসংখ্যান এবং বড় তথ্য

আমি ভারসাম্যহীন ডেটা (9: 1) সহ একটি লজিস্টিক রিগ্রেশন মডেল করতে চাই। আমি glmআর তে ফাংশনে ওয়েট বিকল্পটি চেষ্টা করে দেখতে চেয়েছিলাম , তবে আমি এটি 100% নিশ্চিত না যে এটি কী করে। আমার আউটপুট ভেরিয়েবলটি বলতে দিন c(0,0,0,0,0,0,0,0,0,1)। এখন আমি "1" আরও 10 গুণ বেশি ওজন দিতে চাই। সুতরাং …

21 regression  logistic  classification  unbalanced-classes  weighted-data 

সরলতার স্বার্থে, যাক আমি স্প্যাম / নন-স্প্যাম ইমেলের ক্লাসিক উদাহরণ নিয়ে কাজ করছি on আমার 20000 ইমেলের সেট রয়েছে। এর মধ্যে, আমি জানি যে 2000 টি স্প্যাম তবে নন-স্প্যাম ইমেলের কোনও উদাহরণ আমার কাছে নেই। বাকি 18000 টি স্প্যাম কিনা তা আমি ভবিষ্যদ্বাণী করতে চাই। আদর্শভাবে, আমি যে ফলাফলটি সন্ধান …

21 machine-learning  predictive-models  unsupervised-learning  supervised-learning  semi-supervised 

ধরুন আমি কিছু ধরণের নিয়মিত অনুমান ব্যবহার করে কিছু উচ্চ-মাত্রিক ডেটা থেকে প্রচুর পরিমাণে পরামিতি অনুমান করার চেষ্টা করছি। নিয়ন্ত্রক অনুমানের মধ্যে কিছু পক্ষপাতিত্ব পরিচয় করিয়ে দেয়, তবে এটি এখনও একটি ভাল বাণিজ্য বন্ধ হতে পারে কারণ বৈকল্পিকতা হ্রাস করার জন্য এটির চেয়ে বেশি হওয়া উচিত। আমি যখন আত্মবিশ্বাসের ব্যবধানগুলি …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

বায়েশিয়ান বুটস্ট্র্যাপিং প্রক্রিয়াটি কী তা বুঝতে এবং আপনার স্বাভাবিক বুটস্ট্র্যাপিং থেকে কীভাবে আলাদা হবে তা বুঝতে আমার সমস্যা হচ্ছে। এবং যদি কেউ কোনও স্বজ্ঞাত / ধারণাগত পর্যালোচনা এবং উভয়ের তুলনা করতে পারে তবে তা দুর্দান্ত be একটি উদাহরণ নেওয়া যাক। বলুন আমাদের কাছে একটি ডেটাসেট এক্স রয়েছে যা [1,2,5,7,3]। যদি …

21 bayesian  sampling  bootstrap 

আমি নিজের জন্য লেআউট করার চেষ্টা করছি যখন জিএলএম কাঠামোর মধ্যে গণনা তথ্য সহ কোন রিগ্রেশন টাইপ (জ্যামিতিক, পোইসন, নেতিবাচক দ্বিপদী) ব্যবহার করা উপযুক্ত (8 জিএলএম বিতরণের মধ্যে মাত্র 3 টি গণনা ডেটার জন্য ব্যবহৃত হয়, যদিও বেশিরভাগ কি আমি নেতিবাচক দ্বিপদী এবং পোইসন বিতরণের আশেপাশে কেন্দ্রগুলি পড়েছি)। গণনা তথ্যের …

21 generalized-linear-model  negative-binomial  count-data  poisson-regression  zero-inflation 

অনেকগুলি মেশিন লার্নিং অ্যাপ্লিকেশনগুলিতে তথাকথিত ডেটা বৃদ্ধির পদ্ধতিগুলি আরও ভাল মডেল তৈরি করার অনুমতি দিয়েছে। উদাহরণস্বরূপ, বিড়াল এবং কুকুরের 100 টি চিত্রের একটি প্রশিক্ষণ সেট অনুমান করুন । আবর্তন, মিররিং, বিপরীতে সামঞ্জস্যকরণ ইত্যাদির মাধ্যমে মূল চিত্রগুলি থেকে অতিরিক্ত চিত্র উত্পন্ন করা সম্ভব।100100100 চিত্রগুলির ক্ষেত্রে, ডেটা বর্ধন তুলনামূলকভাবে সহজ। তবে, ধরুন …

21 machine-learning  predictive-models  dataset  independence  data-augmentation 

জেলম্যান এবং হিল (2006) পি 46 তে লিখুন যে: সাধারণত কমপক্ষে গুরুত্বপূর্ণ এমন রিগ্রেশন অনুমানটি হ'ল ত্রুটিগুলি সাধারণত বিতরণ করা হয়। প্রকৃতপক্ষে, রিগ্রেশন লাইনটি অনুমান করার উদ্দেশ্যে (পৃথক ডেটা পয়েন্টগুলির পূর্বাভাস দেওয়ার তুলনায়) স্বাভাবিকতা অনুমান করা মোটেই সবে গুরুত্বপূর্ণ। সুতরাং, অনেকগুলি রিগ্রেশন পাঠ্যপুস্তকের বিপরীতে, আমরা রিগ্রেশন অবশিষ্টাংশগুলির স্বাভাবিকতা নির্ধারণের প্রস্তাব …

21 regression  residuals  assumptions 

প্রস্তাবনা এটি একটি দীর্ঘ পোস্ট। আপনি যদি এটি পুনরায় পড়ছেন, দয়া করে নোট করুন যে আমি প্রশ্নের অংশটি সংশোধন করেছি, যদিও ব্যাকগ্রাউন্ডের উপাদানগুলি একই রয়েছে। অতিরিক্ত হিসাবে, আমি বিশ্বাস করি যে আমি সমস্যার একটি সমাধান তৈরি করেছি। সমাধানটি পোস্টের নীচে উপস্থিত হয়। ক্লিফএবকে ধন্যবাদ জানাতে যে আমার মূল সমাধানটি (এই …

21 machine-learning  bayesian  sampling  roc  auc 

এই পৃথক বিতরণের একটি নাম আছে? জন্যi ∈ 1 ... এনআমি∈1 ...এনi \in 1...N চ( i ) = 1এনΣএনj = i1ঞচ(আমি)=1এনΣঞ=আমিএন1ঞf(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j} আমি নিম্নলিখিতটি থেকে এই বিতরণটি পেরিয়ে এসেছি: আমার কাছে কিছু ইউটিলিটি ফাংশন দ্বারা স্থান প্রাপ্ত আইটেমের একটি তালিকা রয়েছে । আমি তালিকার শুরুর …

21 probability  terminology  discrete-data  distributions 

কেউ কীভাবে ক্লোগলগ লিঙ্কটি ব্যবহার করে কোনও লজিস্টিক রিগ্রেশন থেকে অনুমানগুলি ব্যাখ্যা করতে পারেন আমাকে পরামর্শ দিতে পারেন? আমি নিম্নলিখিত মডেল এতে ফিট করেছি lme4: glm(cbind(dead, live) ~ time + factor(temp) * biomass, data=mussel, family=binomial(link=cloglog)) উদাহরণস্বরূপ, সময়ের অনুমান 0.015। মৃত্যুর প্রতিক্রিয়াগুলি প্রতি ইউনিট সময়কে এক্সপ (0.015) = 1.015113 (ইউনিট সময় …

21 logistic  regression-coefficients 

সম্প্রতি, আমি বেশ কয়েকটি কাগজপত্র এবং অনলাইন সংস্থানগুলিতে দৌড়েছি যা গ্র্যানজারের কারণগুলির উল্লেখ করে । সংশ্লিষ্ট উইকিপিডিয়া নিবন্ধের মাধ্যমে সংক্ষিপ্ত ব্রাউজিং আমাকে এই ধারণাটি দিয়ে রেখেছিল যে এই শব্দটি সময় সিরিজের (বা আরও সাধারণভাবে স্টোকাস্টিক প্রক্রিয়াগুলি ) প্রসঙ্গে কার্যকারিতা বোঝায় । তদ্ব্যতীত, এই দুর্দান্ত ব্লগ পোস্টটি পড়ার ফলে এই পদ্ধতিটি …

21 stochastic-processes  causality  granger-causality 

1 দৈর্ঘ্যের একটি কাঠি এলোমেলোভাবে k+1k+1k+1 টুকরো টুকরো টুকরো হয়ে যাওয়া হোক দীর্ঘতম খণ্ডের দৈর্ঘ্যের বিতরণ কী? আরো আনুষ্ঠানিকভাবে যাক (U1,…Uk)(U1,…Uk)(U_1, \ldots U_k) হতে IID U(0,1)U(0,1)U(0,1) , এবং দিন (U(1),…,U(k))(U(1),…,U(k))(U_{(1)}, \ldots, U_{(k)}) সংশ্লিষ্ট অর্ডার পরিসংখ্যান, হতে অর্থাত তাই আমরা এই ধরনের নমুনা অর্ডার একটি উপায় যে U(1)≤U(2)≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} \leq U_{(2)} \leq, …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

আমি আমার তথ্যের 90 তম পার্সেন্টাইলের ভবিষ্যদ্বাণীকারীদের খুঁজতে কোয়ান্টাইল রিগ্রেশন ব্যবহার করছি। আমি quantregপ্যাকেজটি ব্যবহার করে আর এ করছি am কোয়ান্টাইল রিগ্রেশন-এর জন্য আমি কীভাবে নির্ধারণ করতে পারি যা ইঙ্গিত দেয় যে প্রডাক্টর ভেরিয়েবল দ্বারা কতটা পরিবর্তনশীলতার ব্যাখ্যা দেওয়া হচ্ছে?r2r2r^2 আমি আসলে কী জানতে চাই: "কতগুলি পরিবর্তনশীলতার ব্যাখ্যা দেওয়া হচ্ছে …

21 r-squared  quantile-regression 

আমি মুড, গ্রেবিল এবং বোস দ্বারা পরিসংখ্যানের থিওরির পরিসংখ্যান বইটি থেকে নেইমন – পিয়ারসন লেমা পড়েছি। তবে আমি লেমাকে বুঝতে পারি না। কেউ দয়া করে আমাকে সরল কথায় লেমমা ব্যাখ্যা করতে পারেন? এটা কি বলে? Neyman-পিয়ারসন থিম: আসুন X1,…,XnX1,…,XnX_1,\ldots,X_n থেকে একটি র্যান্ডম নমুনা হতে f(x;θ)f(x;θ)f(x;\theta) , যেখানে θθ\theta দুই পরিচিত …

21 hypothesis-testing  self-study  references  inference  likelihood-ratio 

আমি রাসায়নিক পরিসংখ্যানবিদ একটি মন্তব্য জুড়ে এসেছি যে একটি নমুনা মাঝারি প্রায়শই পর্যাপ্ত পরিসংখ্যানের জন্য পছন্দ হতে পারে তবে এক বা দুটি পর্যবেক্ষণের যেখানে স্পষ্টভাবে নমুনাটির সমান হয় তার স্পষ্ট ঘটনা ছাড়াও আমি অন্য তুচ্ছ এবং আইডির কথা ভাবতে পারি না ক্ষেত্রে যেখানে নমুনা মিডিয়ান যথেষ্ট।

21 median  exponential-family  sufficient-statistics  chemistry