পরিসংখ্যান এবং বড় তথ্য

আমি সম্প্রতি "পুনরাবৃত্তি পুনর্বহাল শেখা" শব্দটি পেয়েছি। আমি "পুনরাবৃত্ত নিউরাল নেটওয়ার্ক" কী এবং "রিইনফোর্সমেন্ট লার্নিং" কী তা বুঝতে পেরেছি, তবে "পুনরুত্পূর্ণ শক্তিবৃদ্ধি শিক্ষা" কী তা সম্পর্কে খুব বেশি তথ্য খুঁজে পাইনি। কেউ আমাকে ব্যাখ্যা করতে পারেন যে "পুনরুক্ত পুনর্বহাল শেখা" কী এবং "পুনরুক্ত পুনর্বহাল শেখা" এবং কিউ-লার্নিং অ্যালগরিদমের মতো সাধারণ …

20 machine-learning  reinforcement-learning 

পরিসংখ্যানবিজ্ঞানের এনসাইক্লোপিডিয়া থেকে আমি বুঝতে পারি যে প্রদত্ত দ্বিদোষ (বাইনারি: 1 = উপস্থিত; 0 = অনুপস্থিত) বৈশিষ্ট্য (ভেরিয়েবল), আমরা কোনও নমুনার আই এবং জে দুটি অবজেক্টের জন্য একটি কন্টিজেন্সি টেবিল গঠন করতে পারি :পিপিp j 1 0 ------- 1 | a | b | i ------- 0 | c | …

20 binary-data  similarities  association-measure 

উইলকক্সন স্বাক্ষরিত পরিসংখ্যানগত তাত্পর্য পরীক্ষায় আমরা এমন কিছু তথ্য পেয়েছি যাপিপিp ভ্যালু তৈরি করে । এর এক প্রান্তিকের সাহায্যে , এই ফলাফলটি কি নাল অনুমানকে প্রত্যাখ্যান করার পক্ষে যথেষ্ট, বা পরীক্ষাটি বলার অপেক্ষা রাখে না এটি নিরাপদ, যেহেতু আমরা পি-মানটিকে 3 দশমিক স্থানে গোল করে এটি ?0.049930.049930.04993p&lt;0.05p&lt;0.05p < 0.050.0500.0500.050

20 hypothesis-testing  statistical-significance  p-value 

উইকিপিডিয়া এবং R স্যান্ডউইচ প্যাকেজ চিত্র OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সমর্থনকারী অনুমানের সম্পর্কে ভাল তথ্য সহগ মান ত্রুটি এবং স্যান্ডউইচ estimators গাণিতিক পটভূমি দিতে। আমি এখনও স্পষ্ট নই যে কীভাবে অবশিষ্টাংশগুলির সমস্যাটির সমাধান করা হয় যদিও সম্ভবত আমি প্রথম স্থানে স্ট্যান্ডার্ড ওএলএস সহগের ভেরিয়েন্স অনুমানটি পুরোপুরি বুঝতে পারি না। স্যান্ডউইচ অনুমানকারী …

20 multiple-regression  residuals  heteroscedasticity  robust-standard-error 

EM অ্যালগরিদম পদ্ধতির মধ্যে আমরা জেনসেনের অসমতা ব্যবহার করেlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz এবং দ্বারাθ(k+1)θ(k+1)\theta^{(k+1)}θ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=arg⁡maxθ∫log⁡p(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz আমি ইএম পড়ি সমস্ত কিছুই কেবল এটি বন্ধ করে দেয় তবে কেন ইএম অ্যালগরিদম স্বাভাবিকভাবে উত্থিত হয় তার ব্যাখ্যা না দিয়ে আমি …

20 mixture  expectation-maximization 

উচ্চ মাত্রায় একটি দ্বি-শ্রেণীর ডেটাসেটের রৈখিক পৃথককরণের পরীক্ষা করার কোনও উপায় আছে কি? আমার বৈশিষ্ট্যটির ভেক্টরগুলি 40-দীর্ঘ। আমি জানি যে আমি সর্বদা লজিস্টিক রিগ্রেশন পরীক্ষাগুলি চালাতে পারি এবং হিট্রেট বনাম মিথ্যা বিপদাশঙ্কার হার নির্ধারণ করতে পারি যে এই সিদ্ধান্তটি নির্ধারণ করতে যে দুটি শ্রেণিই রৈখিকভাবে পৃথকযোগ্য কিনা তবে ইতিমধ্যে এটির …

20 machine-learning  classification 

কেউ কি বিশুদ্ধ গাণিতিক কঠোর উপায়ে ফিশার তথ্য মেট্রিক এবং আপেক্ষিক এনট্রপি (বা কেএল ডাইভারজেন্স) এর মধ্যে নিম্নলিখিত সংযোগটি প্রমাণ করতে পারেন ? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) যেখানে a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i …

20 mathematical-statistics  kullback-leibler  fisher-information 

আমি ই.এম. অ্যালগরিদম নিজে বাস্তবায়ন এবং তারপর ফলাফল এটি তুলনা করতে চান normalmixEMএর mixtoolsপ্যাকেজ। অবশ্যই, যদি তারা উভয়ই একই ফলাফলের দিকে পরিচালিত করে তবে আমি খুশি হব। প্রধান রেফারেন্স হলেন জিওফ্রে ম্যাকল্যাচলান (2000), ফিনিট মিকচার মডেল । আমার দুটি গৌসিয়ানের মিশ্রণ ঘনত্ব রয়েছে, সাধারণ আকারে, লগ-সম্ভাবনা দেওয়া হয় (ম্যাকল্যাচলান পৃষ্ঠা …

20 r  expectation-maximization  gaussian-mixture 

ধরে রাখুন সীমাবদ্ধ দ্বিতীয় মুহুর্তের সাথে ক্রমাগত এলোমেলো পরিবর্তনশীল। স্পিয়ারম্যানের র‌্যাঙ্কের সহসংস্থান সহগের জনসংখ্যার সংস্করণটিকে পিয়ারসনের প্রোডাক্ট-মুহুর্ত সহগ as হিসাবে সংশ্লেষের সংহতগুলির F_X (X) এবং F_Y (Y) হিসাবে সংজ্ঞায়িত করা যেতে পারে , যেখানে F_X, F_Y এক্স এবং ওয়াই এর সিডিএফ , অর্থাৎ,X,YX,YX,Yρsρsρ_sFX(X)FX(X)F_X(X)FY(Y)FY(Y)F_Y(Y)FX,FYFX,FYF_X,F_YXXXYYY ρs(X,Y)=ρ(F(X),F(Y))ρs(X,Y)=ρ(F(X),F(Y))ρ_s(X,Y)=ρ(F(X),F(Y))। আমি আশ্চর্য হয়েছি যে কেউ এটির …

20 correlation  pearson-r  spearman-rho 

আমি জানতে চাই না যে প্রকৃতির কিছু ঘটনার স্বাভাবিক বন্টন রয়েছে কিনা, তবে আমরা কোথাও সাধারণ বক্ররের আকার দেখতে পাচ্ছি কিনা তা উদাহরণস্বরূপ গ্যাল্টন বাক্সে দেখতে পাচ্ছি কিনা। উইকিপিডিয়া থেকে এই চিত্র দেখুন । নোট করুন যে অনেক গাণিতিক আকার বা বক্ররেখা সরাসরি প্রকৃতিতে দেখা যায়, উদাহরণস্বরূপ সোনালীতে সোনালি গড় …

20 distributions  normality-assumption 

ব্রেইম্যান বলে যে গাছগুলি ছাঁটাই করে ছড়িয়ে দেওয়া হয়। কেন? আমি বলতে চাইছি এলোমেলো বনের গাছ ছাঁটাই না করার একটি শক্ত কারণ থাকতে হবে। অন্যদিকে অতিরিক্ত ফিটিং এড়াতে একক সিদ্ধান্ত গাছকে ছাঁটাই করা অত্যন্ত গুরুত্বপূর্ণ বলে মনে করা হয়। এই কারণে কিছু সাহিত্য পড়তে পাওয়া যায়? অবশ্যই গাছগুলি পারস্পরিক সম্পর্কযুক্ত …

20 machine-learning 

আমি সি-এসভিসি মোডে লিবসভিএম ব্যবহার করছি ডিগ্রি 2 এর বহুপদী কার্নেল সহ এবং আমার একাধিক এসভিএম প্রশিক্ষণ প্রয়োজন। প্রতিটি প্রশিক্ষণ সেটে 10 টি বৈশিষ্ট্য এবং 5000 ভেক্টর রয়েছে। প্রশিক্ষণের সময়, আমি প্রশিক্ষিত বেশিরভাগ এসভিএম-এর জন্য আমি এই সতর্কতাটি পাচ্ছি: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 …

20 machine-learning  cross-validation  svm  regularization  libsvm 

আমি এমন একটি অ্যালগরিদম নিয়ে কাজ করছি যা পর্যবেক্ষণে s সাধারণত বিতরণ করা হয় এবং এই বিষয়টির উপর নির্ভর করে আমি এই অনুমানের বোধগম্যতার সাথে পরীক্ষা করতে চাই।YYY এটি করার জন্য, আমি ট্রান্সফর্মেশনগুলি ক্রম যা ক্রমান্বয়ে এর স্বাভাবিকতা ব্যাহত করবে । উদাহরণস্বরূপ, যদি sগুলি স্বাভাবিক থাকে তবে তাদের স্কিউনেস এবং …

20 data-transformation  normality-assumption  skewness  kurtosis 

একজন সহকর্মী তার গবেষণার জন্য কিছু জৈবিক ডেটা কিছু কদর্য হেটেরোসেসডাস্টিটি (নীচের চিত্র) দিয়ে বিশ্লেষণ করছেন। তিনি এটি একটি মিশ্র মডেল নিয়ে বিশ্লেষণ করছেন তবে অবশিষ্টাংশগুলিতে এখনও সমস্যা হচ্ছে। প্রতিক্রিয়া ভেরিয়েবলগুলি লগ-রূপান্তরকরণ বিষয়গুলি পরিষ্কার করে এবং এই প্রশ্নের প্রতিক্রিয়ার ভিত্তিতে এটি একটি উপযুক্ত পদ্ধতির বলে মনে হয়। মূলত, তবে আমরা …

20 mixed-model  poisson-distribution  biostatistics 

আমার কাছে কিছু তথ্য রয়েছে যা প্রায় সাধারণ বনামের অবশিষ্টাংশের গ্রাফ প্লট করা থেকে দেখায় তবে আমি নিশ্চিত হতে চাই। আমি কীভাবে ত্রুটির অবশিষ্টাংশগুলির স্বাভাবিকতার জন্য পরীক্ষা করতে পারি?

20 hypothesis-testing  normal-distribution  assumptions