পরিসংখ্যান এবং বড় তথ্য

আমি একটি কাগজে লজিস্টিক রিগ্রেশন ব্যবহার বুঝতে চেষ্টা করে খুব কষ্ট করে যাচ্ছি। কাগজ প্রাপ্তিসাধ্য এখানে ছানি অস্ত্রোপচারের সময় জটিলতার সম্ভাবনা ভবিষ্যদ্বাণী করা লজিস্টিক রিগ্রেশন ব্যবহার করে। আমাকে বিভ্রান্ত করার মতো বিষয়টি হ'ল কাগজটি এমন একটি মডেল উপস্থাপন করে যা নীচে বর্ণিত বেসলাইনটিকে 1 এর বিজোড় অনুপাত নির্ধারণ করে: যে …

20 logistic  odds-ratio 

আমি এখন এক বছরেরও বেশি সময় ধরে এক্সট্রিম লার্নিং মেশিন (ইএলএম) দৃষ্টান্তটি সম্পর্কে বাস্তবায়ন এবং ব্যবহারের বিষয়ে চিন্তাভাবনা করছি এবং আমি যত বেশি করবো ততই সন্দেহ করি যে এটি সত্যিই একটি ভাল জিনিস। আমার মতামতটি বৈজ্ঞানিক সম্প্রদায়ের সাথে বিপরীত বলে মনে হয় যেখানে - যখন পরিমাপ হিসাবে উদ্ধৃতি এবং নতুন …

20 regression 

আমার সেট আপটি নিম্নলিখিত: আমি "ফলিত ভবিষ্যদ্বাণীমূলক মডেলিং" এর দিকনির্দেশগুলি অনুসরণ করছি। এইভাবে আমি সম্পর্কিত বৈশিষ্ট্যগুলি ফিল্টার করেছি এবং নিম্নলিখিতগুলি দিয়ে শেষ করব: প্রশিক্ষণ সেটে 4900 ডেটা পয়েন্ট এবং পরীক্ষার সেটে 1600 ডেটা পয়েন্ট। আমার 26 টি বৈশিষ্ট্য রয়েছে এবং লক্ষ্যটি একটি অবিচ্ছিন্ন পরিবর্তনশীল। আমি caretপ্যাকেজটি ব্যবহার করে মডেলগুলি প্রশিক্ষণের …

20 machine-learning  boosting  overfitting 

একটি কার্যভারের জন্য আমাকে একটি প্রমাণ প্রদান করতে বলা হয়েছে যে কে-মানে একটি সীমাবদ্ধ পদক্ষেপে রূপান্তর করে। এটি আমি লিখেছি: CCCE(C)=∑xmini=1k∥x−ci∥2E(C)=∑xmini=1k‖x−ci‖2E(C)=\sum_{\mathbf{x}}\min_{i=1}^{k}\left\Vert \mathbf{x}-\mathbf{c}_{i}\right\Vert ^{2}E(C)E(C)E(C) পদক্ষেপ 2 এমন পদক্ষেপকে নির্দেশ করে যা প্রতিটি নিকটবর্তী ক্লাস্টার কেন্দ্রের দ্বারা প্রতিটি ডেটা পয়েন্টকে লেবেল করে এবং পদক্ষেপ 3 হল এমন পদক্ষেপ যেখানে কেন্দ্রগুলি একটি গড় …

20 mathematical-statistics  k-means 

আমি একটি সাক্ষাত্কার প্রশ্ন জুড়ে এসেছিলেন: একটি লাল ট্রেন রয়েছে যা প্রতি 10 মিনিটে আসে। প্রতি 15 মিনিটে একটি নীল ট্রেন আসছে। উভয়ই এলোমেলো সময় থেকে শুরু হয় যাতে আপনার কোনও শিডিয়ুল না থাকে। আপনি যদি এলোমেলো সময়ে স্টেশনে পৌঁছে যান এবং প্রথম যে কোনও ট্রেনে যান তবে প্রত্যাশার অপেক্ষার …

19 probability  random-variable  expected-value 

সুতরাং এখানে আমি অনুমান পড়াশোনা করছি। আমি চাই যে কেউ ক্ষতিকারক পরিবারের সুবিধাগুলি গণনা করতে পারে। ঘৃণ্য পরিবার দ্বারা, আমি বোঝাতে চাইছি যে বিতরণগুলি f(x|θ)=h(x)exp{η(θ)T(x)−B(θ)}f(x|θ)=h(x)exp⁡{η(θ)T(x)−B(θ)}\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*} যার সমর্থন প্যারামিটার নির্ভর করে না । এখানে আমি কিছু সুবিধাগুলি খুঁজে পেয়েছি:θθ\theta (ক) এটি বিভিন্ন ধরণের বিতরণকে অন্তর্ভুক্ত …

19 self-study  exponential-family 

আমি ইআইএ রিপোর্ট পড়ছি এবং এই চক্রান্তটি আমার দৃষ্টি আকর্ষণ করেছে। আমি এখন একই ধরণের প্লট তৈরি করতে সক্ষম হতে চাই। এটি দু'বছরের (১৯৯০-২০১।) মধ্যে শক্তি উত্পাদনশীলতার বিবর্তন দেখায় এবং এই দুটি সময়ের মধ্যে পরিবর্তনের মান যুক্ত করে। এই ধরণের প্লটের নাম কী? আমি কীভাবে এক্সেলে একই প্লট (বিভিন্ন দেশ …

19 data-visualization  terminology  excel 

অনেক উত্স ক্লাসিক "বক্স প্লট" ডিজাইনটি জন টুকি এবং তাঁর "স্কিমেটিক প্লট" এর নকশাকে 1970 সালের তারিখের সাথে দেখায় then বক্স প্লটটির অ্যাডওয়ার্ড টুফ্টের কাট-ডাউন সংস্করণটি ধরা পড়তে ব্যর্থ হওয়ার সাথে ডিজাইনটি তখন থেকেই তুলনামূলকভাবে স্থির ছিল বলে মনে হয় while বেহালা প্লট - যদিও বক্স প্লটের আরও তথ্যমূলক রূপ …

19 data-visualization  references  boxplot  history 

আমার বান্ধবী সম্প্রতি একটি বড় ব্যাংকে বিক্রয় এবং ব্যবসায়ের কাজ পেয়েছে a তার নতুন কাজটি দেখে সন্তুষ্ট, তিনি বিশ্বাস করেন যে সুযোগের চেয়ে মাসের শেষে স্টকগুলি উপরে উঠবে বা নিচে হবে কিনা সে বিশ্বাস করতে পারে (তিনি বিশ্বাস করেন যে তিনি এটি 80% নির্ভুলতার সাথেও করতে পারবেন!) আমি খুব সংশয়ী। …

19 probability  forecasting  finance 

আমি পরিসংখ্যান (ফ্রিম্যান, পিসানী, পার্ভস) বইটি পড়ছি এবং আমি এমন একটি উদাহরণ পুনরুত্পাদন করার চেষ্টা করছি যেখানে একটি মুদ্রা নিক্ষেপ করা হয় যেখানে 50 বার বলা হয়, মাথার সংখ্যাটি গণনা করা হয় এবং এটি 1000 বার বলা হয় is প্রথমত, আমি টসসের সংখ্যা (নমুনা আকার) 1000 এ রেখেছি এবং পুনরাবৃত্তিগুলি …

19 normal-distribution  central-limit-theorem  normal-approximation 

রিগ্রেশন নিয়মিতকরণ (লিনিয়ার, লজিস্টিক ...) ওভার-ফিটিং হ্রাস করার সর্বাধিক জনপ্রিয় উপায়। লক্ষ্যটি পূর্বাভাসের নির্ভুলতা হয় (ব্যাখ্যা না করে), নিয়মিতকরণের জন্য কি কোনও ভাল বিকল্প রয়েছে, বিশেষত বড় ডেটা-সেটগুলির জন্য উপযুক্ত (মাইল / বিলিয়ন পর্যবেক্ষণ এবং লক্ষ লক্ষ বৈশিষ্ট্য)?

19 regression  regularization  overfitting 

আমি এই অনুমানটি পরীক্ষা করতে চাই যে নমুনাগুলির বিতরণ বা জনসংখ্যার বিষয়ে কোনও অনুমান না করেই একই জনসংখ্যা থেকে দুটি নমুনা আঁকা। আমি এই কিভাবে করা উচিত? উইকিপিডিয়া থেকে আমার ধারণাটি হ'ল মান হুইটনি ইউ পরীক্ষাটি উপযুক্ত হওয়া উচিত, তবে অনুশীলনে এটি আমার পক্ষে কাজ করবে বলে মনে হয় না। …

19 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney  wilcoxon-signed-rank 

আমি ওয়ার্ড টুভেকের প্রসঙ্গে নেতিবাচক নমুনার ধারণাটি বোঝার চেষ্টা করছি। আমি [নেতিবাচক] স্যাম্পলিংয়ের ধারণাটি হজম করতে অক্ষম। উদাহরণস্বরূপ , মিকোলভের কাগজগুলিতে নেতিবাচক নমুনা প্রত্যাশা হিসাবে সূত্রিত হয় logσ(⟨w,c⟩)+k⋅EcN∼PD[logσ(−⟨w,cN⟩)].log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim PD}[\log\sigma(−\langle w,c_N\rangle)]. আমি বাম শব্দটি বুঝতে , কিন্তু আমি নেতিবাচক শব্দ-প্রসঙ্গ জোড়া স্যাম্পলিং ধারণা …

19 machine-learning  word2vec  word-embeddings 

পারস্পরিক সম্পর্ক সম্পর্কিত শিরোনাম উইকিপিডিয়া পৃষ্ঠা থেকে কার্যকারিতা বোঝায় না , যে কোনও দুটি সম্পর্কযুক্ত ইভেন্টের জন্য, এ এবং বি, বিভিন্ন সম্ভাব্য সম্পর্কের অন্তর্ভুক্ত: একটি কারণ বি (সরাসরি কারণ); বি কারণে A (বিপরীত কারণ); এ এবং বি একটি সাধারণ কারণের পরিণতি, তবে একে অপরের সৃষ্টি করে না; এ এবং বি …

19 correlation  causality 

প্রথমত, তিনি ফলাফলের সম্ভাবনা দেন। সুতরাং, উদাহরণস্বরূপ, মার্কিন নির্বাচনের জন্য তার পূর্বাভাস বর্তমানে 82% ক্লিনটন বনাম 18% ট্রাম্প। এখন, ট্রাম্প জিতলেও, আমি কীভাবে জানব যে তার জয়ের সময়টি কেবল 18% ছিল না? অন্য সমস্যাটি হ'ল সময়ের সাথে সাথে তার সম্ভাবনাগুলিও বদলে যায়। সুতরাং 31 জুলাই, এটি ট্রাম্প এবং ক্লিনটনের মধ্যে …

19 forecasting  prediction  validation  accuracy  scoring-rules