পরিসংখ্যান এবং বড় তথ্য

আমি একটি সাধারণ সেটআপ ধরে নিই, এটি হ'ল একটি ক্রমাগত ফাংশন প্রদত্ত ডেটা ফিট করার জন্য একটি পরিবার থেকে is বেছে নেওয়া হয়েছে ( কোনও ঘনক্ষেত্র বা বাস্তবে কোনও যুক্তিসঙ্গত টপোলজিকাল স্পেস হতে পারে) কিছু প্রাকৃতিক মানদণ্ড অনুসারে।hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n{hθ}θ{hθ}θ\{h_\theta\}_\theta(xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, kXXX[0,1]m[0,1]m[0,1]^m রিগ্রেশনের অ্যাপ্লিকেশনগুলি রয়েছে যেখানে কেউ …

9 regression  machine-learning  multiple-regression 

আমি দক্ষতার সাথে নমুনা আঁকতে চাইx∈Rdx∈Rdx \in \mathbb{R}^d থেকে N(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma) যে সীমাবদ্ধতা সাপেক্ষে ||x||2=1||x||2=1||x||_2 = 1।

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

আমাকে কৃষি ও বাস্তুবিদ্যায় উন্নত স্নাতক শিক্ষার্থীদের জন্য পরীক্ষামূলক নকশার জন্য একটি কোর্সের প্রস্তাব দিতে বলা হয়েছে। আমি কখনই এই জাতীয় কোর্স গ্রহণ করি নি, এবং অবাক হয়ে জানতে পেরেছিলাম যে কোর্সের আরও উপযুক্তভাবে নামকরণ করা যেতে পারে "একমুখী আনোভা ছাড়িয়ে", এবং এটি এমন ক্ষেত্রকে আবৃত করে যা আমি কৃষি …

9 references  experiment-design  teaching 

আমি ভ্যানিলা সাবগ্রেডিয়েন্ট পদ্ধতিগুলির মাধ্যমে লাসো সমাধান করার চিন্তা করছিলাম। তবে আমি লোকদের প্রক্সিমাল গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহারের পরামর্শ দিয়েছি। লাসোর জন্য কেন ভ্যানিলা সাবগ্রেডিয়েন্ট পদ্ধতিগুলির পরিবর্তে প্রক্সিমাল জিডি ব্যবহার করা যেতে পারে তা কেউ কেউ হাইলাইট করতে পারে?

9 machine-learning  optimization  lasso  gradient-descent 

গুজরাটির বেসিক একনোমেট্রিক্সের চতুর্থ সংস্করণে (কিউ ৩.১১) এটি আসলে একটি সমস্যা এবং বলেছেন যে পারস্পরিক সম্পর্ক সহগটি মূল এবং স্কেল পরিবর্তনের সাথে সম্পর্কিত, এটি হ'ল যেখানে , , , নির্বিচার স্থির।corr(aX+b,cY+d)=corr(X,Y)corr(aX+b,cY+d)=corr(X,Y)\text{corr}(aX+b, cY+d) = \text{corr}(X,Y)aaabbbcccddd তবে আমার মূল প্রশ্নটি হ'ল: এবং পর্যবেক্ষণটি যুক্ত করুন এবং ধরুন এবং ইতিবাচকভাবে সম্পর্কিত, অর্থাত্ । …

9 self-study  correlation  linear-algebra  mathematical-statistics 

প্রকৃতির স্বাভাবিক বিতরণের গুরুত্ব সম্পর্কে অনেক কিছু বলা হয়েছে। উচ্চতা বা ওজনের মতো প্রচুর পরিমাপ প্রায় বিতরণ করা হয়। তবে এগুলির কোনওটিই ঠিক স্বাভাবিক নয়, যতদূর আমি বুঝতে পারি। সাধারণ বিতরণকে বিবেচনা করা সর্বাধিক এনট্রপি বিতরণগুলির মধ্যে একটি , এটি প্রকৃতপক্ষে "এটি পছন্দ করা উচিত" বলে মনে হয়। তবে কিছু …

9 normal-distribution  normality-assumption 

আমি অকার্যকর অ্যালগরিদম (ক্লাস্টারিং) ব্যবহার করে বিভিন্ন ডেটাसेट একসাথে তৈরি করার চেষ্টা করছি। সমস্যাটি হ'ল আমার কাছে অনেকগুলি বৈশিষ্ট্য (500 ডলার) এবং অল্প পরিমাণে কেস (200-300) রয়েছে। এখনও পর্যন্ত আমি কেবল শ্রেণিবদ্ধের সমস্যাগুলিই করতাম যার জন্য আমি সবসময় প্রশিক্ষণের সেট হিসাবে ডেটা লেবেল করে রেখেছিলাম। সেখানে আমি বৈশিষ্ট্যগুলির পূর্বনির্ধারণের জন্য …

9 r  clustering  feature-selection  unsupervised-learning 

যাক একটি বিযুক্ত র্যান্ডম তার মান গ্রহণ পরিবর্তনশীল হতে । আমি চাই অর্ধেক এই পরিবর্তনশীল, যে একটি এলোপাতাড়ি ভেরিয়েবলের এটি যেমন:এক্সXXএনN\mathbb{N}ওয়াইYY এক্স= ওয়াই+ +ওয়াই*X=Y+Y∗X = Y + Y^* যেখানে একটি স্বাধীন কপি ।ওয়াই*Y∗Y^*ওয়াইYY আমি এই প্রক্রিয়াটিকে অর্ধ হিসাবে উল্লেখ করছি ; এটি একটি অন্তর্নির্মিত পরিভাষা। এই অপারেশনের জন্য সাহিত্যে কি …

9 random-variable 

রিগ্রেশন মডেলগুলির মধ্যে নির্বাচন করতে কে-ফোল্ড সিভি ব্যবহার করার সময়, আমি সাধারণত প্রতিটি মডেলের সিভি ত্রুটি আলাদাভাবে তার স্ট্যান্ডার্ড ত্রুটি এসই সহ গণনা করি এবং আমি সর্বনিম্ন সিভি ত্রুটি সহ মডেলটির 1 এসি মধ্যে সর্বাধিকতম মডেল নির্বাচন করি (1 স্ট্যান্ডার্ড ত্রুটি বিধি, উদাহরণস্বরূপ এখানে দেখুন )। যাইহোক, আমাকে সম্প্রতি বলা …

9 regression  cross-validation  model-selection 

আমি আমার ফ্যাক্টর কলামটি ডামি ভেরিয়েবলগুলিতে রূপান্তর করার চেষ্টা করছি: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 0 0 # 407 1 …

9 r  categorical-data  categorical-encoding 

লিনিয়ার রিগ্রেশন মডেলটি বিবেচনা করুন: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, যেখানে are ওয়ারেপসিলন _ আই εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , এটি , 000 গড় এবং bbb স্কেল প্যারামিটার সহ ল্যাপ্লেস বিতরণ সমস্ত পারস্পরিক স্বতন্ত্র। অজানা প্যারামিটারের সর্বাধিক সম্ভাবনা অনুমানটি …

9 regression  laplace-distribution 

আনু সম্পর্কযুক্ত কিন্তু লিনিয়ার নির্ভরশীল ভেরিয়েবলগুলির একটি সেট থাকা কি সম্ভব ?কেKK যেমন এবংসি ও আর (এক্সআমি,এক্সঞ) = 0cor(xi,xj)=0cor(x_i, x_j)=0Σকেi = 1একটিআমিএক্সআমি= 0Σআমি=1কেএকটিআমিএক্সআমি=0 \sum_{i=1}^K a_ix_i=0 যদি হ্যাঁ আপনি একটি উদাহরণ লিখতে পারেন? সম্পাদনা: উত্তরগুলি থেকে এটি অনুসরণ করা যায় যে এটি সম্ভব নয়। এটি কি কমপক্ষে সম্ভব হবে যে যেখানে …

9 correlation  mathematical-statistics  multicollinearity 

অটেনকোডার নেটওয়ার্কগুলি সাধারণ শ্রেণিবদ্ধ এমএলপি নেটওয়ার্কগুলির চেয়ে বেশি কৌশলযুক্ত বলে মনে হয়। পুনর্গঠিত আউটপুটে আমি যা পেয়েছি লাসাগনকে ব্যবহার করার পরে বেশ কয়েকটি চেষ্টার পরে এমন একটি জিনিস যা এমএনআইএসটি ডাটাবেসের সমস্ত চিত্রের ইনপুট ডিজিটটি আসলে কী তা কোনও পার্থক্য ছাড়াই তার অস্পষ্ট গড়ের সাথে সাদৃশ্যপূর্ণ । আমি যে নেটওয়ার্ক …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

আমি ডেটাসেটে পিসিএ করে শেষ কয়েকটি পিসি ফেলে দিয়ে কোনও ডেটাসেটের মাত্রিকতা এবং গোলমাল হ্রাস করার চেষ্টা করছি। এর পরে, আমি বাকী পিসিগুলিতে কিছু মেশিন লার্নিং অ্যালগরিদম ব্যবহার করতে চাই এবং তাই আমি অ্যালগরিদমগুলি আরও ভালভাবে কাজ করতে পিসিগুলির বৈচিত্রকে সমান করে ডেটাটিকে স্বাভাবিক করতে চাই। একটি সহজ উপায় হ'ল …

9 variance  pca  factor-rotation 

আমি একটি মেশিন লার্নিং বইতে পড়েছি যে রৈখিক প্রতিরোধের পরামিতিগুলি গ্রেডিয়েন্ট বংশোদ্ভূত দ্বারা (অন্যান্য পদ্ধতিগুলির মধ্যে) অনুমান করা যায়, যখন লজিস্টিক রিগ্রেশনের পরামিতিগুলি সাধারণত সর্বাধিক সম্ভাবনার অনুমান দ্বারা অনুমান করা হয়। লিনিয়ার / লজিস্টিক রিগ্রেশন জন্য কেন আমাদের বিভিন্ন পদ্ধতির প্রয়োজন তা কোনও নবজাতককে (আমাকে) ব্যাখ্যা করে বলা সম্ভব? ওরফে …

9 regression  logistic  maximum-likelihood