পরিসংখ্যান এবং বড় তথ্য

একটি সাধারণ বিতরণের প্যারামিটারগুলি অনুমানের জন্য সাধারণ পদ্ধতির মধ্যে গড় এবং নমুনার মানক বিচ্যুতি / বৈকল্পিকতা ব্যবহার করা। যাইহোক, যদি কিছু আউটলিয়ার থাকে তবে মিডিয়ান থেকে মিডিয়ান এবং মিডিয়ান মধ্যস্থতার বিচ্যুতিটি আরও বেশি শক্তিশালী হওয়া উচিত, তাই না? আমি চেষ্টা করেছি এমন কিছু ডেটা সেটগুলিতে, দ্বারা অনুমান করা সাধারণ বিতরণ …

15 normal-distribution  estimation  outliers  robust  unbiased-estimator 

আর প্লটিং প্যাকেজ ggplot2 এর সাথে যুক্ত আত্মবিশ্বাস ব্যান্ডের সাথে রিগ্রেশন লাইন (বা কার্ভ) প্লট করার জন্য স্ট্যাট_স্মোথ নামে একটি দুর্দান্ত কাজ রয়েছে। তবে প্রতিবারের রেগ্রেশন লাইনের (বা "পদ্ধতি") জন্য এই আত্মবিশ্বাস ব্যান্ডটি কীভাবে উত্পন্ন হয় ঠিক তা নির্ণয় করতে আমার খুব কষ্ট হচ্ছে। আমি এই তথ্যটি কীভাবে খুঁজে পাব?

15 r  regression  confidence-interval  ggplot2 

আমি এই সমস্যাটি নিয়ে ভাবছিলাম বাইনারি ডেটা মডেলিংয়ের জন্য স্বাভাবিক লজিস্টিক ফাংশনটি হ'ল: তবে লগিট ফাংশনটি যা কোনও এস-আকৃতির বক্ররেখা, ডেটা মডেলিংয়ের জন্য সর্বদা সেরা? হতে পারে আপনার বিশ্বাস করার কারণ আছে যে আপনার ডেটা সাধারণ এস-আকৃতির বক্ররেখা অনুসরণ করে না তবে ডোমেনের সাথে একটি ভিন্ন ধরণের বক্ররেখা(0,1)log(p1−p)=β0+β1X1+β2X2+…log⁡(p1−p)=β0+β1X1+β2X2+… \log\left(\frac{p}{1-p}\right)=\beta_0+\beta_1X_1+\beta_2X_2+\ldots (0,1)(0,1)(0,1) …

15 logistic  references  link-function 

জিএলএম-এ কোভেরিয়েন্স কাঠামো নির্দিষ্ট করার সুবিধা কী (কোভরিয়েন্স ম্যাট্রিক্সের সমস্ত অফ-ডায়াগোনাল এন্ট্রিগুলিকে শূন্য হিসাবে গণ্য করার চেয়ে)? ডেটা সম্পর্কে যে কেউ জানে তার প্রতিফলন বাদ দিয়ে তা করে মানানসই ভালতা? আউট-আউট ডেটা সম্পর্কে ভবিষ্যদ্বাণীমূলক নির্ভুলতা উন্নত করবেন? আমাদের সম্প্রচারের মাত্রাটি অনুমান করার অনুমতি দেয়? সমবায় কাঠামো চাপিয়ে দেওয়ার জন্য কী …

15 generalized-linear-model  covariance 

আমি শ্রেণিবিন্যাসের জন্য জিবিএম প্যাকেজটি ব্যবহার করছি। যেমনটি প্রত্যাশিত, ফলাফল ভাল। তবে আমি শ্রেণিবদ্ধের আউটপুট বোঝার চেষ্টা করছি। আউটপুট পাঁচটি পদ আছে। `Iter TrainDeviance ValidDeviance StepSize Improve` যে কেউ প্রতিটি শব্দটির অর্থ, বিশেষত উন্নতির অর্থ ব্যাখ্যা করতে পারে ।

15 r  machine-learning 

Kaggle রচনা Eval পদ্ধতি পড়ার সময় আমি বৈকল্পিক স্থিতিশীল রূপান্তর পেরিয়ে এসেছি । তারা কাপা মানগুলিকে গ্রহণের আগে তাদের পরিবর্তনের জন্য পরিবর্তিত স্থিতিশীল রূপান্তর ব্যবহার করে এবং তাদের আবার পরিবর্তিত করে। বৈকল্পিক স্থিতিশীল রূপান্তরগুলি সম্পর্কে উইকি পড়ার পরেও আমি বুঝতে পারি না, কেন আমরা প্রকৃতপক্ষে বৈকল্পগুলি স্থির করি? এর দ্বারা …

15 variance  mathematical-statistics 

মিশ্র মডেলগুলির সাথে আমি সবসময় যে সমস্যার মুখোমুখি হয়েছি সেগুলির মধ্যে একটি হ'ল ডেটা ভিজ্যুয়ালাইজেশনগুলি নির্ণয় করা - এটি কোনও ধরণের পেপার বা পোস্টারে শেষ হতে পারে - একবার ফলাফল প্রকাশের পরে। এই মুহুর্তে, আমি একটি পয়সন মিশ্র প্রভাবগুলির মডেলটিতে এমন সূত্র নিয়ে কাজ করছি যা নীচের মত কিছু দেখাচ্ছে: …

15 r  data-visualization  mixed-model 

এমএডি = গড় নিখুঁত বিচ্যুতি এমএসই = গড় স্কোয়ার ত্রুটি আমি বিভিন্ন জায়গা থেকে পরামর্শ দেখেছি যে কিছু অপ্রয়োজনীয় গুণাবলী থাকা সত্ত্বেও এমএসই ব্যবহার করা হয় (উদাঃ http://www.stat.nus.edu.sg/~staxyc/T12.pdf , যা পি 8 তে উল্লেখ করেছে "সাধারণত বিশ্বাস করা হয় যে এমএডি এমএসইয়ের চেয়ে ভাল মানদণ্ড However তবে গণিতের তুলনায় এমএসই …

15 forecasting  error  mse  mae 

আমি বিজ্ঞানী-শিখতে র্যান্ডম ফরেস্ট রিগ্রেশন ব্যবহার করার চেষ্টা করছি। সমস্যাটি হ'ল আমি সত্যিই একটি উচ্চ পরীক্ষার ত্রুটি পাচ্ছি: train MSE, 4.64, test MSE: 252.25. এটি আমার ডেটা দেখতে কেমন: (নীল: বাস্তব তথ্য, সবুজ: পূর্বাভাস): আমি প্রশিক্ষণের জন্য 90% এবং পরীক্ষার জন্য 10% ব্যবহার করছি। বেশ কয়েকটি প্যারামিটার সংমিশ্রণের চেষ্টা করার …

15 regression  random-forest  scikit-learn 

থেকে উইকিপিডিয়ার পরিসংখ্যান randoness : গ্লোবাল এলোমেলোতা এবং স্থানীয় এলোমেলোতা আলাদা। এলোমেলোতার বেশিরভাগ দার্শনিক ধারণা বিশ্বব্যাপী - কারণ এ ধারণার উপর ভিত্তি করে যে তারা "দীর্ঘমেয়াদে" একটি ক্রমকে সত্যই এলোমেলো দেখায়, এমনকি কিছু উপ-অনুক্রমগুলি এলোমেলো মনে না হলেও। একটি "সত্যিকারের" পর্যাপ্ত দৈর্ঘ্যের সংখ্যার এলোমেলো ক্রম, উদাহরণস্বরূপ, এটি সম্ভবত জিরো ব্যতীত …

15 mathematical-statistics  random-generation 

আমি সম্প্রতি একটি ক্লায়েন্ট আমার কাছে বুটস্ট্র্যাপ বিশ্লেষণ করতে এসেছি কারণ একজন এফডিএ পর্যালোচক বলেছিলেন যে তাদের ত্রুটি-ইন-ভেরিয়েবল রিগ্রেশনটি অবৈধ ছিল কারণ সাইটগুলি থেকে ডেটা পুল করার সময় বিশ্লেষণে তিনটি সাইট থেকে পুলিং ডেটা অন্তর্ভুক্ত ছিল যেখানে দুটি সাইট কিছু নমুনা অন্তর্ভুক্ত করেছিল একই. পটভূমি ক্লায়েন্টের কাছে একটি নতুন অ্যাসাইয়িং …

15 regression  errors-in-variables  deming-regression  pooling 

আমি ফলিত পরিসংখ্যানগুলিতে একটি স্নাতক কোর্স নিচ্ছি যা নিম্নলিখিত পাঠ্যপুস্তকটি ব্যবহার করে (আপনাকে যে বিষয়বস্তু আচ্ছাদন করা হচ্ছে তার স্তর সম্পর্কে অনুভূতি দেওয়ার জন্য): জি কে ভট্টাচার্য এবং আরএ জনসন দ্বারা পরিসংখ্যান সংক্রান্ত ধারণা এবং পদ্ধতিগুলি । প্রফেসর আমাদের গৃহকর্মের জন্য এসএএস ব্যবহার করা প্রয়োজন। আমার প্রশ্নটি হ'ল: কোনও জাভা …

15 r  sas  java 

আমি শিক্ষার্থীদের মধ্যে পোয়েসন বিতরণটি ব্যাখ্যা করতে আমাকে সহায়তা করার জন্য কয়েকটি পয়সন বিতরণের মডেলের পক্ষে উপযুক্ত নয় এমন পরিস্থিতিগুলির কয়েকটি ভাল উদাহরণ খুঁজছি। একজন সাধারণভাবে কোনও সময়ের মধ্যে একটি দোকানে আগত গ্রাহকদের সংখ্যার উদাহরণ হিসাবে পোয়েসন বিতরণ দ্বারা মডেল করা যেতে পারে uses আমি অনুরূপ শিরাতে একটি কাউন্টারেরেক্সামেল খুঁজছি, …

15 poisson-distribution  teaching 

আমি আর এ ব্যবহার করে একটি কক্স আনুপাতিক বিপজ্জনক রিগ্রেশন করছি coxph, যার মধ্যে অনেকগুলি ভেরিয়েবল রয়েছে। মার্টিংগেল অবশিষ্টাংশগুলি দুর্দান্ত দেখায় এবং স্কোয়েনফিল্ডের অবশিষ্টাংশগুলি সমস্ত ভেরিয়েবলের জন্য দুর্দান্ত। এখানে তিনটি ভেরিয়েবল রয়েছে যার স্কোইনফিল্ডের অবশিষ্টাংশগুলি সমতল নয় এবং ভেরিয়েবলগুলির প্রকৃতি এমন যে এটি সময়ের সাথে পৃথক হতে পারে তা বোঝা …

15 r  model  cox-model  hazard  schoenfeld-residuals 

TLDR: আমার ডেটাসেটটি বেশ ছোট (120) নমুনা। 10-গুণ ক্রস বৈধকরণ করার সময়, আমার উচিত: প্রতিটি পরীক্ষার ভাঁজ থেকে আউটপুট সংগ্রহ করুন, সেগুলিকে একটি ভেক্টরের সাথে একত্রীকরণ করুন, এবং তারপরে পূর্বাভাসের এই পুরো ভেক্টরের (120 নমুনা) ত্রুটিটি গণনা করুন? অথবা পরিবর্তে আমার প্রাপ্ত ফলাফলগুলিতে ত্রুটিটি গণনা করা উচিত প্রতিটি ভাঁজগুলিতে ( …

15 classification  cross-validation  small-sample