পরিসংখ্যান এবং বড় তথ্য

কোন পরিস্থিতিতে ওএলএসের পরিবর্তে নিয়মিতকরণ পদ্ধতিগুলি (রিজ, লাসো বা কমপক্ষে অ্যাঙ্গেল রিগ্রেশন) ব্যবহার করা উচিত? যদি এটি আলোচনার দিকে এগিয়ে যেতে সহায়তা করে তবে আমার মূল আগ্রহ ভবিষ্যদ্বাণীমূলক নির্ভুলতার উন্নতি করছে।

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

বিভিন্ন ক্রস-বৈধকরণের পদ্ধতিগুলি মডেল বৈকল্পিক এবং পক্ষপাতের ক্ষেত্রে কীভাবে তুলনা করে? আমার প্রশ্নটি এই থ্রেড দ্বারা আংশিকভাবে অনুপ্রাণিত: কে- ফোল্ড ক্রস-বৈধকরণের ভাঁজগুলির সর্বোত্তম সংখ্যার : কী ছাড়-এক-আউট সিভি সর্বদা সেরা পছন্দ? কেKK। উত্তরটির উত্তর থেকে জানা যায় যে লেভেল -ওয়ান-আউট ক্রস-বৈধকরণের সাথে শিখে নেওয়া মডেলগুলির নিয়মিত কে- ফোল্ড ক্রস-বৈধকরণের সাথে …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

নীচের তিনটি শর্তের মধ্যে পার্থক্য কী? শতকরা সমাংশক কোয়ার্টাইলের

83 descriptive-statistics  quantiles  median  percentage 

ডেটা ব্যবহার করে ব্যবসায়ের সমস্যাগুলি সমাধান করার সময়, এটি সাধারণ যে অন্তত পিনের ধ্রুপদী পরিসংখ্যানটি অবৈধ key বেশিরভাগ সময়, কেউই এই অনুমানগুলি যাচাই করতে বিরক্ত করে না যাতে আপনি আসলে জানেন না। উদাহরণস্বরূপ, এখন পর্যন্ত প্রচলিত ওয়েব মেট্রিকগুলি "লম্বা লেজযুক্ত" (সাধারণ বিতরণের সাথে তুলনামূলক) তাই এখন পর্যন্ত এত ভাল নথিভুক্ত …

82 model-selection  nonparametric  outliers  robust  philosophical 

এই এক্সেল গ্রাফটি একবার দেখুন: 'সাধারণ জ্ঞান' -র-সেরা-ফিট লাইনটি বিন্দুগুলির মাঝখানে দিয়ে সরাসরি উল্লম্ব লাইন হিসাবে উপস্থিত হবে (লাল হাতে হাতে সম্পাদিত)। তবে এক্সেলের সিদ্ধান্ত অনুসারে লিনিয়ার ট্রেন্ড লাইনটি তির্যক কালো রেখা দেখানো হয়েছে। এক্সেল কেন এমন কিছু তৈরি করেছে যা (মানুষের চোখে) ভুল বলে মনে হচ্ছে? আমি কীভাবে একটি …

82 regression  excel  intuition 

আমি "ক্লোজড-ফর্ম সমাধান" শব্দটি প্রায়শই এসেছি। বদ্ধ-ফর্ম সমাধানের অর্থ কী? একটি প্রদত্ত সমস্যার জন্য একটি ঘনিষ্ঠ-ফর্ম সমাধান উপস্থিত থাকলে কীভাবে তা নির্ধারণ করে? অনলাইনে অনুসন্ধান করে, আমি কিছু তথ্য পেয়েছি, তবে একটি পরিসংখ্যানগত বা সম্ভাব্য মডেল / সমাধান বিকাশের প্রসঙ্গে কিছুই পাইনি। আমি রিগ্রেশনটি খুব ভালভাবে বুঝতে পারি, সুতরাং যদি …

82 regression  machine-learning  probability  terminology  stochastic-processes 

আমি জানি এটি একটি বিশ্লেষণাত্মক প্রবণতাগুলির সুবিধা গ্রহণের জন্য বিখ্যাত একটি কমিকের কাছ থেকে এসেছে , তবে এটি কয়েক মিনিট তারার পরে বেশ কিছুটা যুক্তিযুক্ত দেখায়। এই " সংশোধিত বয়েস উপপাদ্য " কী করছে তা আমার পক্ষে কেউ রূপরেখা দিতে পারে ?

81 bayesian  hierarchical-bayesian 

তান অ্যাক্টিভেশন ফাংশনটি হ'ল: t a n h ( x ) = 2 ⋅ σ( 2 এক্স ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 কোথায় , সিগমা ফাংশন, হিসাবে সংজ্ঞায়িত করা হয়: ।σ ( x ) = ই xσ( এক্স )σ(x)\sigma(x) …

81 machine-learning  neural-networks  optimization  cost-maximization 

আমি অবাক হয়েছি যদি তথাকথিত শূন্য-স্ফীত ডিস্ট্রিবিউশন (মডেল) এবং তথাকথিত বাধা-শূন্য-শূন্য বিতরণ (মডেল) এর মধ্যে কোনও স্পষ্ট-কাট পার্থক্য রয়েছে? সাহিত্যে শর্তাবলী প্রায়শই দেখা যায় এবং আমার সন্দেহ হয় যে সেগুলি এক নয়, তবে আপনি কি দয়া করে আমাকে সহজ শর্তে পার্থক্যটি ব্যাখ্যা করবেন?

81 zero-inflation 

আমি লাসোর একটি প্রযুক্তিগত সংজ্ঞা এবং এটির জন্য কী ব্যবহার করা হচ্ছে তা সন্ধান করছি।

81 regression  lasso  regularization  shrinkage 

ঠিক আছে, সুতরাং আমি মনে করি আমার হাতে যথেষ্ট পরিমাণে নমুনা রয়েছে: 20: 1 টি নিয়মের আমলে নেওয়া: মোট 7 প্রার্থীর ভবিষ্যদ্বাণী ভেরিয়েবলের জন্য মোটামুটি বড় নমুনা (এন = 374)। আমার সমস্যাটি হ'ল: প্রডাক্টর ভেরিয়েবলগুলির যে কোনও সেটই আমি ব্যবহার করি না, শ্রেণিবদ্ধিগুলি 100% এর স্পষ্টতা এবং 0% এর সংবেদনশীলতার …

81 regression  logistic  sample-size  unbalanced-classes 

কাউকে বৈকল্পিক ধারণাটি ব্যাখ্যা করার সবচেয়ে পরিষ্কার ও সহজ উপায় কী? এটি স্বজ্ঞাত অর্থ কি? যদি কেউ তাদের সন্তানের কাছে এটি ব্যাখ্যা করে তবে কেউ কীভাবে এটি সম্পর্কে জানবে? এটি এমন একটি ধারণা যা আমার উচ্চারণে অসুবিধা হয় - বিশেষত যখন ঝুঁকির সাথে বৈকল্পিক সম্পর্কিত হয়। আমি এটি গাণিতিকভাবে বুঝতে …

81 distributions  variance  standard-deviation  inference  intuition 

আত্মবিশ্বাস এবং বিশ্বাসযোগ্য ব্যবধানের মধ্যে পার্থক্য সম্পর্কে সাম্প্রতিক একটি প্রশ্ন আমাকে সেই বিষয়ে এডউইন জেনেসের নিবন্ধটি পুনরায় পড়তে শুরু করেছিল: জয়েস, ইটি, ১৯66। - সম্ভাবনা থিওরি, পরিসংখ্যানগত অনুমান, এবং বিজ্ঞানের পরিসংখ্যানতত্ত্বের তাত্ত্বিকতায় ডাব্লুএল হার্পার এবং সিএ হুকার (সংস্করণ), ডি। রেডেল, ডর্ড্রেচট, পি। 175; ( পিডিএফ ) বিমূর্তে জয়েস লিখেছেন: ... …

81 bayesian  confidence-interval 

সংক্রান্ত P-মান এস, আমি অবাক হচ্ছি কেন % এবং % জন্য স্বর্ণমান হবে বলে মনে হচ্ছে । % বা % এর মতো অন্যান্য মানগুলি কেন হয় না ?111555"statistical significance"666101010 এটির জন্য কি মৌলিক গাণিতিক কারণ রয়েছে, নাকি এটি কেবল একটি বিস্তৃত সম্মেলন?

80 hypothesis-testing  statistical-significance  p-value  history 

লিনিয়ার রিগ্রেশনটিতে পূর্বাভাস ব্যবধানের জন্য আপনি এখনও বিরতি উত্পন্ন করতে ব্যবহার করেন। আপনি একটি আত্মবিশ্বাসের ব্যবধান তৈরি করতে এটি ব্যবহার করেন । দুজনের মধ্যে পার্থক্য কী?E^[Y|x]=β0^+β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[Y|x0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval