পরিসংখ্যান এবং বড় তথ্য

পাইথনে আমার একটি ডেটা ফ্রেম রয়েছে যেখানে আমাকে সমস্ত শ্রেণীবদ্ধ ভেরিয়েবলগুলি সন্ধান করতে হবে। কলামের ধরণটি পরীক্ষা করা সবসময় কাজ করে না কারণ intপ্রকারটিও শ্রেণিবদ্ধ হতে পারে। সুতরাং আমি কোনও কলামটি শ্রেণিবদ্ধ কিনা তা সনাক্ত করার জন্য সঠিক অনুমানের পরীক্ষা পদ্ধতিটি অনুসন্ধানে সহায়তা চাই। আমি চি-স্কোয়ার পরীক্ষার নীচে চেষ্টা করছিলাম …

10 hypothesis-testing  categorical-data  python  chi-squared  categorical-encoding 

ধরা যাক আমাদের একটি মডেল আছে Yi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiYi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiY_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i। রিগ্রেশনটির অনেকগুলি অনুমান রয়েছে যেমন ত্রুটি ϵiϵi\epsilon_iসাধারণত গড় শূন্য এবং ধ্রুবক বৈচিত্র সহ বিতরণ করা উচিত। অবশিষ্টাংশের স্বাভাবিকতার জন্য পরীক্ষা করার জন্য আমাকে একটি সাধারণ কিউকিউ প্লট ব্যবহার করে এই অনুমানগুলি …

10 regression  residuals  error 

আমি স্কলার ডকুমেন্টেশন দিয়ে যাচ্ছি তবে আমি লজিস্টিক রিগ্রেশন প্রসঙ্গে এই ফাংশনগুলির উদ্দেশ্য বুঝতে সক্ষম হই না। কারণ decision_functionএটি বলে যে হাইপারপ্লেন এবং পরীক্ষার উদাহরণগুলির মধ্যে এর দূরত্ব। এই বিশেষ তথ্যটি কীভাবে কার্যকর? এবং এটি কীভাবে সম্পর্কিত predictএবং predict-probaপদ্ধতির সাথে সম্পর্কিত?

10 regression  logistic  prediction  scikit-learn  decision 

আমি অনলাইন ভিডিও এবং লেকচার নোটগুলি থেকে গাউসীয় প্রক্রিয়া সংক্ষিপ্তকরণ সম্পর্কে শিখছি, এটি সম্পর্কে আমার ধারণাটি হ'ল আমরা যদি পয়েন্ট সহ একটি ডেটাসেট রাখি তবে আমরা ধরে নিই যে ডাইমেনশনাল মাল্টিভারিয়েট গাউসিয়ান থেকে ডেটা নমুনা করা হয়েছে । সুতরাং আমার প্রশ্নটি সেই ক্ষেত্রে যেখানে 10 মিলিয়ন এর মধ্যে 10 কি …

10 machine-learning  probability  inference  gaussian-process  multivariate-regression 

ডিপমাইন্ডের আলফাগো জিরো এবং আলফাজিরো কাগজগুলিতে, তারা মন্টি কার্লো ট্রি অনুসন্ধানের মূল নোড (বোর্ড স্টেট) থেকে ক্রিয়াকলাপের পূর্ব সম্ভাব্যতার সাথে ডিরিচলেট শব্দের যোগ করার বর্ণনা দিয়েছেন : মূল নোড , বিশেষত , যেখানে ডিরিচলেট শব্দটি যুক্ত করে অতিরিক্ত অন্বেষণ করা যায় এবং ; এই গোলমালটি নিশ্চিত করে যে সমস্ত পদক্ষেপের …

10 machine-learning  neural-networks  dirichlet-distribution 

আমি অবাক হই যে শর্তসাপেক্ষ সম্ভাবনাগুলি বাইশিয়ানিজমের পক্ষে স্বতন্ত্র নয়, বা তারা সাধারণ ধারণার চেয়ে বেশি যা স্ট্যাটিস্টিক্স / সম্ভাব্যতার লোকদের মধ্যে বেশ কয়েকটি বিদ্যালয়ের মধ্যে ভাগ করে নেওয়া হয়েছে shared আমি এটি ধরণের বলে ধরে নিয়েছি, কারণ আমি ধরে নিয়েছি যে কেউ এক ধরণের যৌক্তিক নয়, তাই আমি মনে …

10 bayesian  conditional-probability 

একটি নিয়মিত অনুশীলন হিসাবে, আমি এর বিতরণ সন্ধান করার চেষ্টা করছি X2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2} কোথায় XXX এবং YYY স্বাধীন হয় U(0,1)U(0,1) U(0,1) এলোমেলো ভেরিয়েবল। এর যৌথ ঘনত্ব (X,Y)(X,Y)(X,Y) হয় fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right)যেমন cosθcos⁡θ\cos\theta কমছে θ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]; এবংzsinθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right)যেমন sinθsin⁡θ\sin\theta ক্রমবর্ধমান হয় θ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]। অনেক দূরে 1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2, আমাদের আছে cos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right)। রূপান্তরের জ্যাকোবিয়ানের পরম মান |J|=z|J|=z|J|=z …

10 self-study  distributions  mathematical-statistics  uniform 

আমি একটি ভিএই বাস্তবায়ন করছি এবং আমি সরলিকৃত অবিবাহিত গাউসিয়ান কেএল ডাইভারজেন্সের দুটি পৃথক বাস্তবায়ন লক্ষ্য করেছি। অনুযায়ী মূল বিকিরণ এখানে হয় যদি আমরা ধরে নিই যে আমাদের পূর্ববর্তীটি একক গাউসিয়ান অর্থাৎ ie এবং হয় তবে এটি এবং আমার বিভ্রান্তি এখানেই রয়েছে। যদিও উপরের প্রয়োগের সাথে আমি কয়েকটি অস্পষ্ট গিথুব …

10 inference  kullback-leibler  autoencoders  variational-bayes 

আমার ডেটাসেটের ( ) একটি নির্ভরশীল ভেরিয়েবল (ডিভি), পাঁচটি স্বতন্ত্র "বেসলাইন" ভেরিয়েবল (পি 1, পি 2, পি 3, পি 4, পি 5) এবং আগ্রহের একটি পৃথক পরিবর্তন (Q) রয়েছে।N≈10,000N≈10,000N \approx 10,000 আমি নিম্নলিখিত দুটি মডেলের জন্য ওএলএস লিনিয়ার রিগ্রেশনগুলি চালিয়েছি: DV ~ 1 + P1 + P2 + P3 + …

10 regression  linear  r-squared 

আমি যখন কলম্যান ফিল্টার সম্পর্কে পড়া শুরু করি তখন এটি ভেবেছিল যে এটি আরিমা মডেলের একটি বিশেষ ক্ষেত্রে (যথা আরিমা (0,1,1))। তবে বাস্তবে মনে হয় পরিস্থিতি আরও জটিল। সবার আগে, আরিমা পূর্বাভাসের জন্য এবং কলম্যান ফিল্টার ফিল্টারিংয়ের জন্য ব্যবহার করা যেতে পারে। কিন্তু তারা কি নিবিড়ভাবে সম্পর্কিত নয়? প্রশ্ন: আরিমা …

10 time-series  bayesian  arima  kalman-filter 

এলোমেলো ফুরিয়ার বৈশিষ্ট্যগুলি কার্নেল ফাংশনগুলিতে আনুমানিকতা সরবরাহ করে। এগুলি বিভিন্ন কার্নেল পদ্ধতির জন্য যেমন এসভিএম এবং গাউসিয়ান প্রক্রিয়াগুলির জন্য ব্যবহৃত হয়। আজ, আমি টেনসরফ্লো বাস্তবায়নটি ব্যবহার করার চেষ্টা করেছি এবং আমার বৈশিষ্ট্যের অর্ধেকের জন্য আমি নেতিবাচক মান পেয়েছি। আমি যেমন এটি বুঝতে পারি, এটি হওয়া উচিত নয়। সুতরাং আমি মূল …

10 machine-learning  kernel-smoothing  feature-construction  tensorflow  fourier-transform 

ডিপ লার্নিং এবং ইনফরমেশন বোতলেনেক মূল নীতিটি লেখকগুলিতে ২ য় বিভাগের লেখকদের বিবরণে বলা হয়েছে ) একক নিউরন কেবলমাত্র রৈখিক পৃথকযোগ্য ইনপুটগুলিকে শ্রেণিবদ্ধ করে, কারণ তারা কেবলমাত্র তাদের ইনপুট স্পেসে হাইপারপ্লেনগুলি প্রয়োগ করতে পারে । হাইপারপ্লেনগুলি ইনপুটগুলি বিনোদনের সাথে নিখরচায় রাখার সময় উপাত্তকে সর্বোত্তমভাবে শ্রেণিবদ্ধ করতে পারে।u = w h …

10 bayesian  neural-networks  information-theory 

অবিচ্ছিন্ন র্যান্ডম ভেরিয়েবল XXX , E(|X|)E(|X|)E(|X|) সীমাবদ্ধ হলে, limn→∞nP(|X|&gt;n)=0limn→∞nP(|X|&gt;n)=0\lim_{n\to\infty}n P(|X|>n)=0 ? এটি ইন্টারনেটে আমি খুঁজে পেয়েছি এমন একটি সমস্যা, তবে আমি এটি নিশ্চিত করছি না এটি ধারণ করে কিনা। আমি জানি যে nP(|X|&gt;n)&lt;E(|X|)nP(|X|&gt;n)&lt;E(|X|)n P(|X|>n)

10 probability  expected-value  probability-inequalities 

আমি এলওএফ পরিমাপের (স্থানীয় আউটিলার ফ্যাক্টর) পদক্ষেপে পদক্ষেপ নিয়েছি, আমি বহিরাগতদের শব্দটির সাথে পরিচিত (ভাল মূলত মিথ্যাবাদী - যে উদাহরণগুলি বাকী উদাহরণগুলির মতো আচরণ করে না)। 'ইনলিয়ার্স' এর বিপরীত সনাক্তকরণের প্রসঙ্গে কী বোঝায়? এবং এটি কীভাবে (বিদেশী) বিদেশীদের সাথে সম্পর্কিত?

10 residuals  outliers  anomaly-detection 

আমি অবগত যে রিজ এবং লসো রিগ্রেশন এর বৈশিষ্ট্যগুলিকে মানক করা সাধারণ অনুশীলন, তবে, এই রিগ্রেশন পদ্ধতির জন্য জেড-স্কোর মানককরণের বিকল্প হিসাবে কোনও (0,1) স্কেলের বৈশিষ্ট্যগুলিকে সাধারণকরণ করা কি আরও কার্যকর হবে?

10 normalization  lasso  standardization  ridge-regression