পরিসংখ্যান এবং বড় তথ্য

বুটস্ট্র্যাপ পদ্ধতিটি গত বছরগুলিতে দুর্দান্ত প্রসার দেখেছিল, আমি এটিকে অনেক বেশি ব্যবহার করি, বিশেষত কারণ পিছনে যুক্তিটি বেশ স্বজ্ঞাত। তবে এটি একটি জিনিস যা আমি বুঝতে পারি না। কেন ইফ্রন এলোমেলোভাবে একক পর্যবেক্ষণ অন্তর্ভুক্ত করে বা বাদ দিয়ে কেবল সাবমলিংয়ের পরিবর্তে প্রতিস্থাপনের সাথে পুনরায় নমুনা প্রদর্শন করতে বেছে নিয়েছে? আমি …

11 bootstrap  resampling  subsampling 

আমার প্রশ্নটি পয়সন রিগ্রেশন এবং সাধারণভাবে জিএলএম সম্পর্কে আমার খারাপ ধারণা প্রকাশ করে। আমার প্রশ্নটি তুলে ধরতে এখানে কিছু জাল তথ্য রয়েছে: ### some fake data x=c(1:14) y=c(0, 1, 2, 3, 1, 4, 9, 18, 23, 31, 20, 25, 37, 45) Psuedo-R2 ফিরিয়ে আনতে কিছু কাস্টম ফাংশন: ### functions of …

11 generalized-linear-model  poisson-distribution 

আমি এই টিউটোরিয়ালে পাওয়া ক্রস-এনট্রপি ব্যয়ের ফাংশনটি দেখছি : C=−1n∑x[ylna+(1−y)ln(1−a)]সি=-1এনΣএক্স[YLn⁡একটি+ +(1-Y)Ln⁡(1-একটি)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] আমরা ঠিক কি সংক্ষেপে হয়? এটা অবশ্যই হয়, ওভার xএক্সx কিন্তু yYy এবং aএকটিa সঙ্গে পরিবর্তন করবেন না xএক্সx । সকল xএক্সx এর এক মধ্যে ইনপুট হয় aএকটিa । aএকটিa এমনকি সমস্ত wWw …

11 neural-networks  error-propagation 

আমি ভাবছি যে আমি কীভাবে এন ওয়েইবুল বিতরণ লাইফটাইমগুলির নমুনা অনুকরণ করতে পারি যাতে টাইপ আই ডান-সেন্সর করা পর্যবেক্ষণ অন্তর্ভুক্ত থাকে। উদাহরণস্বরূপ, এন = 3, আকার = 3, স্কেল = 1 এবং সেন্সরিং হার = .15 এবং সেন্সরিং সময় = .88 রাখতে দেয়। আমি জানি যে কীভাবে ওয়েবুল নমুনা তৈরি …

11 r  survival  simulation  random-generation 

আমি ভাবছিলাম যে কোনও এসভিএমকে প্রশিক্ষণ দেওয়া (কোনও লিনিয়ার বলতে, জিনিসগুলিকে সহজ করে তোলা) ব্যাকপ্রোপেশন ব্যবহার করে কী সম্ভব? বর্তমানে, আমি একটি রাস্তা ব্লক আছি কারণ আমি শুধুমাত্র লেখা সম্পর্কে মনে করতে পারেন ক্লাসিফায়ার এর আউটপুট হিসাবে f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) অতএব, আমরা যখন "ব্যাকওয়ার্ড পাস" …

11 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

এটি সাইকিট গ্রেডিয়েন্ট বুস্টিংয়ের দ্বিপদী বিচ্যুতি ক্ষতি ফাংশন, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() …

11 machine-learning  scikit-learn  boosting  loss-functions 

আমি বুঝেছি যে নিউরাল নেটওয়ার্কগুলি (এনএন) উভয় ফাংশন এবং তাদের ডেরাইভেটিভগুলির সর্বজনীন অনুমানক হিসাবে বিবেচিত হতে পারে, কিছু অনুমানের অধীনে (নেটওয়ার্ক এবং ফাংশন উভয়কে আনুমানিক)। প্রকৃতপক্ষে, আমি সাধারণ, তবু তুচ্ছ ত্রিভুক্ত ফাংশনগুলিতে (উদাহরণস্বরূপ, বহুভুজ) বেশ কয়েকটি পরীক্ষা করেছি এবং দেখে মনে হচ্ছে যে আমি তাদের এবং তাদের প্রথম ডেরাইভেটিভগুলি ভালভাবে …

11 machine-learning  neural-networks  function  derivative 

আমি 20 টি বৈশিষ্ট্যের উপর ভিত্তি করে কেস (সত্য / মিথ্যা) শ্রেণিবদ্ধ করতে একটি এসভিএমকে প্রশিক্ষণ দিতে চাই। আমি জানি যে এর মধ্যে কয়েকটি বৈশিষ্ট্য অত্যন্ত সংযুক্ত রয়েছে। সুতরাং আমার প্রশ্নটি হ'ল: এসভিএম বৈশিষ্ট্যগুলির মধ্যে পারস্পরিক সম্পর্ক বা অযৌক্তিকতার জন্য সংবেদনশীল? কোন রেফারেন্স?

11 svm  multicollinearity  kernel-trick 

কিছু ইডিএ করার সময় আমি একটি ফ্যাক্টরের দুই স্তরের পার্থক্য চিত্রিত করতে একটি বক্স প্লট ব্যবহার করার সিদ্ধান্ত নিয়েছিলাম। পথ ggplot বক্স চক্রান্ত অনুষ্ঠিত সন্তোষজনক কিন্তু সামান্য সরল (নীচে প্রথম চক্রান্ত) ছিল। বাক্স প্লটের বৈশিষ্ট্যগুলি নিয়ে গবেষণা করে আমি খাঁজ নিয়ে পরীক্ষা-নিরীক্ষা শুরু করি। আমি বুঝতে পেরেছি যে ন্যাচগুলি মধ্যের …

11 data-visualization  ggplot2  eda 

মার্কভ চেইনগুলি আমার কাছে উপলব্ধি করে, আমি এগুলি বাস্তব জীবনের সমস্যার সম্ভাব্য অবস্থার পরিবর্তনের মডেল হিসাবে ব্যবহার করতে পারি। তারপরে এইচএমএম আসে। বলা হয় যে এইচএমএমগুলি এমসির তুলনায় অনেক সমস্যার মডেল করতে বেশি উপযুক্ত। তবে, লোকেদের যে সমস্যাগুলি উল্লেখ করা হয়েছে সেগুলি স্পিচ প্রসেসিংয়ের মতো বোঝার জন্য কিছুটা জটিল। সুতরাং …

11 hidden-markov-model 

আমি stl (Loতু দ্বারা টাইম সিরিজের মৌসুমী ক্ষয়) ফাংশন সহ নিম্নলিখিত কোডের সাথে প্লট করেছি: plot(stl(ts(rnorm(144), frequency=12), s.window="periodic")) এটি উপরের কোডে র্যান্ডম ডেটা (rnorm ফাংশন) সহ মৌখিক মৌসুমী প্রকরণ দেখায়। প্যাটার্নটি ভিন্ন হলেও এটি চলাকালীন প্রতিটি সময় সংখ্যার বৈচিত্র্য দেখা যায়। এরকম দুটি নিদর্শন নীচে দেখানো হয়েছে: মৌসুমী প্রকরণটি যখন …

11 time-series  seasonality  loess 

নিউরাল নেটওয়ার্ক সহ একটি অটোরকোডার কার্যকর করার সময়, বেশিরভাগ লোকেরা অ্যাক্টিভেশন ফাংশন হিসাবে সিগময়েড ব্যবহার করবেন। আমরা কি এর পরিবর্তে রিলু ব্যবহার করতে পারি? (যেহেতু আরএলইউর উপরের বাউন্ডের কোনও সীমা নেই, মূলত ইনপুট চিত্রটি সিগময়েড ব্যবহারের সময় অটোরকোডারের সীমাবদ্ধ মানদণ্ডের বিপরীতে পিক্সেল 1 এর চেয়ে বড় হতে পারে)।

11 machine-learning  neural-networks  deep-learning  autoencoders 

যদি β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , ক্যান ∥β∗∥2‖β∗‖2\|\beta^*\|_2 বৃদ্ধি করতে পারে λλ\lambda বাড়ে? আমি মনে করি এটি সম্ভব। যদিও ∥β∗∥1‖β∗‖1\|\beta^*\|_1 বাড়ে না যখন λλ\lambda বৃদ্ধি (আমার প্রমাণ ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 বৃদ্ধি করতে পারেন। নীচের চিত্রটি একটি সম্ভাবনা দেখায়। যখন λλ\lambda বেড়ে যায়, যদি β∗β∗\beta^* ভ্রমনের (সুসংগত) থেকে PPP থেকে QQQ , তারপর ∥β∗∥2‖β∗‖2\|\beta^*\|_2 …

11 lasso 

বদ্ধ আকারে স্কোয়ার্ড সাধারণ সিডিএফের প্রত্যাশা কীভাবে মূল্যায়ন করা যায়? E[Φ(aZ+b)2]=∫∞−∞Φ(az+b)2ϕ(z)dzE[Φ(aZ+b)2]=∫−∞∞Φ(az+b)2ϕ(z)dz\mathbb{E}\left[\Phi\left(aZ+b\right)^{2}\right] = \int_{-\infty}^{\infty}\Phi\left(az+b\right)^{2}\phi(z)\,dz এখানে, , প্রকৃত সংখ্যা, , এবং এবং একটি আদর্শ সাধারণ এলোমেলো ভেরিয়েবলের ঘনত্ব এবং বিতরণ ফাংশন, যথাক্রমে।aaabbbZ∼N(0,1)Z∼N(0,1)Z\sim\mathcal{N}(0,1)ϕ(⋅)ϕ(⋅)\phi(\cdot)Φ(⋅)Φ(⋅)\Phi(\cdot)

11 mathematical-statistics 

আমার কাছে একটি ডেটাফ্রেম রয়েছে যাতে 4 টি কলাম জুড়ে মান রয়েছে: উদাহরণস্বরূপ: ID, price, click count,rating আমি যা করতে চাই তা হল এই তথ্য ফ্রেমটিকে এন বিভিন্ন গ্রুপে "বিভক্ত" করা যেখানে প্রতিটি গ্রুপের দামের সমান বন্টন সহ সারির সমান সংখ্যক সারি থাকবে, ক্লিক গণনা এবং রেটিং গুণাবলী। যে কোনও …

11 r  distributions