পরিসংখ্যান এবং বড় তথ্য

আমি বুঝতে পারি যে আমরা কমপক্ষে স্কোয়ার রিগ্রেশন সমস্যায় নিয়মিতকরণ নিয়োগ করতে পারি w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] এবং এই সমস্যাটির একটি বদ্ধ-ফর্ম সমাধান রয়েছে যেমন: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. আমরা দেখতে পাই যে ২ য় সমীকরণে নিয়মিতকরণ কেবল \ বোল্ডসিম্বল {এক্স} টি \ বোল্ডসিম্বল {এক্স the …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

এসভিএম অ্যালগরিদম বেশ পুরানো - এটি 1960 এর দশকে উন্নত হয়েছিল, তবে 1990 এবং 2000 এর দশকে এটি অত্যন্ত জনপ্রিয় ছিল। এটি মেশিন লার্নিং কোর্সের একটি ধ্রুপদী (এবং বেশ সুন্দর) অংশ। আজ মনে হচ্ছে মিডিয়া প্রসেসিংয়ে (চিত্র, শব্দ ইত্যাদি) নিউরাল নেটওয়ার্কগুলি পুরোপুরি আধিপত্য বজায় রাখে, অন্য অঞ্চলে গ্রেডিয়েন্ট বুস্টিংয়ের খুব …

10 machine-learning  svm 

দয়া করে কেউ পেরেটো বিতরণ এবং কেন্দ্রীয় সীমাবদ্ধ তত্ত্বের মধ্যে সম্পর্কের একটি সহজ (সাধারণ ব্যক্তি) ব্যাখ্যা সরবরাহ করতে পারেন (উদাহরণস্বরূপ এটি প্রয়োগ হয়? কেন / কেন নয়?)? আমি নিম্নলিখিত বিবৃতিটি বোঝার চেষ্টা করছি: "কেন্দ্রীয় সীমাবদ্ধ উপপাদ্য প্রতিটি বিতরণের সাথে কাজ করে না This এটি একটি ছিনতাইয়ের কারণে ঘটে - নমুনা …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

আমি এমআরআই তথ্য নিয়ে একটি ম্যাটল্যাব বিশ্লেষণ করছি যেখানে আমি 10304x236 আকারের ম্যাট্রিক্সে পিসিএ করেছি যেখানে 10304 ভক্সেলের সংখ্যা (তাদেরকে পিক্সেল হিসাবে মনে করি) এবং 236 সময়পয়েন্টের সংখ্যা। পিসিএ আমাকে 236 ইগেনভ্যালু এবং তাদের সম্পর্কিত সহগ প্রদান করে। এই সব ঠিক আছে। তবে কয়টি উপাদান ধরে রাখতে হবে তা ঠিক …

10 pca  eigenvalues  neuroimaging 

আমি বৈষম্যমূলক বিশ্লেষণ অধ্যয়ন করছি, তবে বেশ কয়েকটি পৃথক ব্যাখ্যার পুনর্মিলন করতে আমার একটি কঠিন সময় কাটাচ্ছে। আমি বিশ্বাস করি যে আমি অবশ্যই কিছু মিস করছি, কারণ আমি এর আগে (পার্থক্য) এর বৈষম্যের মাত্রার আগে কখনও মুখোমুখি হইনি। বলা হচ্ছে, এই ওয়েবসাইটে বৈষম্যমূলক বিশ্লেষণ সম্পর্কিত প্রশ্নের সংখ্যা এটির জটিলতার প্রমাণ …

10 multivariate-analysis  discriminant-analysis 

প্রয়োজনীয় প্যাকেজটি লোড করুন। library(ggplot2) library(MASS) গামা বিতরণে লাগানো 10,000 নম্বর উত্পন্ন করুন। x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] সম্ভাব্যতার ঘনত্বের ফাংশনটি আঁকুন, ধারণা করা হয় আমরা কোন ডিস্ট্রিবিউশন x ফিট করে we t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

আমি নিম্নলিখিত বিচ্ছিন্ন বিতরণ আছে, যেখানে α,βα,β\alpha,\beta পরিচিত ধ্রুবক: পি (x;α,β)=বিটা ( α+1,β+ +x)বিটা(α,β)জন্য এক্স = 0 , 1 , 2,…p(x;α,β)=বিটা(α+ +1,β+ +এক্স)বিটা(α,β)জন্য এক্স=0,1,2,... p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots এই বিতরণ থেকে দক্ষতার সাথে নমুনার জন্য কিছু পন্থা কী কী?

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

পরীক্ষামূলক গবেষণায় অংশ নেওয়ার জন্য মনস্তাত্ত্বিক বিজ্ঞাপনগুলি দেখে আমি সর্বদা কিছুটা অবাক হই। নিশ্চিতভাবেই, এই বিজ্ঞাপনগুলির প্রতিক্রিয়াযুক্ত ব্যক্তিরা এলোমেলোভাবে নমুনাযুক্ত নয় এবং তাই স্ব-নির্বাচিত জনগোষ্ঠী। কারণ এটি কি জানা যায় যে এলোমেলোকরণ স্বয়ং-নির্বাচনের সমস্যাটি সমাধান করে, আমি ভাবছিলাম যে নন-র্যান্ডম নমুনার এলোমেলোভাবে আসলে কিছু পরিবর্তন হয়েছে কিনা changed আপনি কি …

10 sampling  psychology  random-allocation 

আমি আনোভা শিখতে চাই অ্যালগরিদম কীভাবে কাজ করে (কী গণনা করতে হবে) এবং এটি কেন কাজ করে তা শিখার আগে আমি প্রথমে জানতে চাই যে আমরা আসলে এনওভা দিয়ে কোন সমস্যাটি সমাধান করব, বা আমরা কোন উত্তর দেওয়ার চেষ্টা করব। অন্য কথায়: ইনপুট কী এবং অ্যালগরিদমের আউটপুট কী? আমরা কী …

10 anova 

আমার বক্তৃতার নোটগুলিতে বলা হয়েছে, টি-ডিস্ট্রিবিউশনের মতো দেখতে সাধারণ লাগে, যদিও কিছুটা ভারী লেজ থাকে। কেন জানি এটি সাধারণ দেখায় (কেন্দ্রীয় সীমাবদ্ধ তত্ত্বের কারণে)। তবে গাণিতিকভাবে কীভাবে প্রমাণ করতে হয় যে এটি সাধারণ বিতরণের চেয়ে ভারী লেজ রয়েছে এবং এটি যদি সাধারণ বিতরণের চেয়ে কতটা ভারী measure

10 normal-distribution  t-distribution  heavy-tailed 

আমি আরএনএনগুলির আর্কিটেকচারটি বোঝার চেষ্টা করছি। আমি এই টিউটোরিয়ালটি পেয়েছি যা খুব সহায়ক হয়েছে: http://colah.github.io/posts/2015-08- ব্যাখ্যা- LSTMs/ বিশেষ করে এই চিত্র: এটি কীভাবে ফিড-ফরওয়ার্ড নেটওয়ার্কে ফিট করে? এই চিত্রটি কি প্রতিটি স্তরের আরেকটি নোড?

10 neural-networks  lstm 

আমি পারস্পরিক তথ্য ব্যবহার করে দুটি ভেরিয়েবল, এ এবং বি এর মধ্যে সম্পর্ক নির্ধারণ করতে চাই। এটি গণনা করার উপায়টি পর্যবেক্ষণগুলিকে বিন্যস্ত করে (নীচে পাইথন কোডটি দেখুন)) যাইহোক, কোন উপাদানগুলি বিনয়ের সংখ্যাটি যুক্তিসঙ্গত তা নির্ধারণ করে? আমার দ্রুত গণনা করা দরকার তাই আমি নিরাপদ দিকে থাকতে প্রচুর পরিমাণে বিন্দু ব্যবহার …

10 information-theory  mutual-information  binning 

প্রসঙ্গ আমি বুঝতে চেষ্টা করছি যে কীভাবে আর এর কক্স্ফ () প্রজাদের (বা রোগী / গ্রাহক যদি আপনি চান তবে) বারবার প্রবেশগুলি গ্রহণ করে এবং পরিচালনা করে। কেউ কেউ এই লম্বা ফর্ম্যাটটিকে কল করেন, আবার কেউ একে 'বারবার ব্যবস্থা' বলে থাকেন। উদাহরণস্বরূপ দেখুন ডেটা সেটটিতে উত্তর বিভাগে আইডি কলাম অন্তর্ভুক্ত …

10 r  repeated-measures  survival  cox-model  frailty 

আমার কাছে একটি 1-ডি র্যান্ডম ভেরিয়েবল যা অত্যন্ত স্কিউড। এই বিতরণটি স্বাভাবিক করার জন্য, আমি গড়ের চেয়ে মিডিয়ান ব্যবহার করতে চাই। আমার প্রশ্নটি হ'ল: আমি কি সূত্রের মাধ্যমের পরিবর্তে গড়ের পরিবর্তে বিতরণটির বৈচিত্রটি গণনা করতে পারি? আমি প্রতিস্থাপন করতে পারেন Var(X)=∑[(Xi−mean(X))2]/nVar(X)=∑[(Xi−mean(X))2]/n \mathrm{Var}(X) = \sum[(X_i - \mathrm{mean}(X))^2]/n সঙ্গে Var(X)=∑[(Xi−median(X))2]/nVar(X)=∑[(Xi−median(X))2]/n \mathrm{Var}(X) = …

10 variance  mean  median 

ডেটার রেঞ্জের বাইরে প্রকল্পে রিগ্রেশন ব্যবহার সম্পর্কে আপনার কী ধারণা? যদি আমরা নিশ্চিত যে এটি একটি রৈখিক বা পাওয়ার মডেল আকারের অনুসরণ করে, তবে মডেলটি ডেটা সীমার বাইরেও কার্যকর হতে পারে না? উদাহরণস্বরূপ আমি দাম দ্বারা চালিত ভলিউম আছে। আমি বিশ্বাস করি যে ডেটা সীমার বাইরে দামের জন্য আমরা প্রকল্প …

10 regression  dataset  linear-model