পরিসংখ্যান এবং বড় তথ্য

আধুনিক নিউরাল নেটওয়ার্কগুলির কার্যকারিতার জন্য বায়াস নোডটি কতটা গুরুত্বপূর্ণ তা জানতে আগ্রহী। আমি সহজেই বুঝতে পারি যে এটি অল্প অল্প কিছু ইনপুট ভেরিয়েবলের সাথে অগভীর নেটওয়ার্কে গুরুত্বপূর্ণ হতে পারে। তবে গভীর স্নানের মতো আধুনিক স্নায়বিক জালগুলিতে প্রায়শই নির্দিষ্ট নিউরন ট্রিগার হয় কিনা তা সিদ্ধান্ত নিতে প্রচুর পরিমাণে ইনপুট ভেরিয়েবল থাকে। …

19 neural-networks  deep-learning  bias-node 

এই পোস্টটি একটি দ্রুত পরিবর্তিত ঘটনার সাথে সম্পর্কিত। আমি ২০১২ সালের একটি প্রশ্ন জুড়ে এসেছি যার মধ্যে জুলিয়া সম্পর্কে বিভিন্ন ধরণের পরিসংখ্যানমূলক কাজের জন্য আর / পাইথনের বিকল্প হিসাবে খুব ভাল আলোচনা হয়েছিল। জুলিয়ার প্রতিশ্রুতি সম্পর্কে এখানে 2012 সালের মূল প্রশ্নটি রয়েছে দুর্ভাগ্যক্রমে জুলিয়া তখন খুব নতুন ছিল এবং পরিসংখ্যানমূলক …

19 r  python  computing  julia 

রাজা এবং জেং (2001) এর বিরল ইভেন্ট বায়াস সংশোধন কখন এবং কীভাবে প্রয়োগ করবেন সে সম্পর্কে ক্রসভিলেটেডের বেশ কয়েকটি প্রশ্ন রয়েছে । আমি আলাদা কিছু সন্ধান করছি: একটি ন্যূনতম সিমুলেশন-ভিত্তিক প্রদর্শন যা পক্ষপাতিত্ব বিদ্যমান that বিশেষত, কিং এবং জেং রাজ্য "... বিরল ইভেন্টের ডেটাতে সম্ভাব্যতার বায়াসগুলি হাজারে নমুনা আকারের সাথে …

19 r  logistic  simulation  bias  rare-events 

আমি কোলেস্কি পচন ব্যবহার করি একটি সম্পর্কযুক্ত ম্যাট্রিক্স প্রদত্ত পরস্পর সম্পর্কিত র্যান্ডম ভেরিয়েবলগুলি অনুকরণ করতে। বিষয়টি হ'ল ফলাফলটি পরস্পর সম্পর্ক কাঠামো যেমনটি দেওয়া হয় তেমন পুনরুত্পাদন করে না। পরিস্থিতি চিত্রিত করার জন্য পাইথনের একটি ছোট উদাহরণ এখানে। import numpy as np n_obs = 10000 means = [1, 2, 3] sds …

19 correlation  random-generation  cholesky 

আমি ডেভিড কলকোউনের এই দুর্দান্ত কাগজটি পড়েছি: মিথ্যা আবিষ্কারের হারের তদন্ত এবং পি-ভ্যালুগুলির ভুল ব্যাখ্যা (2014) সংক্ষেপে, তিনি ব্যাখ্যা করেছেন যে আমরা দিয়ে টাইপ আই ত্রুটির জন্য নিয়ন্ত্রণ করি সত্ত্বেও কেন ভুয়া আবিষ্কারের হার (এফডিআর) বেশি হতে পারে ।30%30%30\%α=0.05α=0.05\alpha=0.05 তবে আমি একাধিক পরীক্ষার ক্ষেত্রে যদি এফডিআর নিয়ন্ত্রণ প্রয়োগ করি তবে …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

প্রধান উপাদান উপাদান বিশ্লেষণ (পিসিএ) সাবজেক্ট (দ্বৈত) স্পেসে কীভাবে কাজ করে সে সম্পর্কে আমি একটি স্বজ্ঞাত বোঝার চেষ্টা করছি । দুটি ভেরিয়েবল সঙ্গে 2D ডেটা সেটটি বিবেচনা করুন, x1x1x_1 এবং x2x2x_2 , এবং nnn ডাটা পয়েন্টের (ডাটা ম্যাট্রিক্স XX\mathbf X হয় n×2n×2n\times 2 এবং কেন্দ্রিক অবস্থায় গণ্য করা হয়)। পিসিএর …

19 pca  linear-algebra  intuition  geometry 

ডিভিডি হিসাবে ডিভিটি mtcarsসেট করে ডেভিড আলফা (১, সুতরাং লাসো) সহ গ্ল্যামনেটের প্লটটি mpgভবিষ্যদ্বাণী ভেরিয়েবল হিসাবে অন্য হিসাবে সেট করা হয় । glmnet(as.matrix(mtcars[-1]), mtcars[,1]) আমরা কি বিভিন্ন ভেরিয়েবল সংক্রান্ত এই চক্রান্ত থেকে এই উপসংহারে আসতে পারি, বিশেষ করে am, cylএবং wt(লাল, কালো এবং হালকা নীল লাইন)? একটি প্রতিবেদন প্রকাশের জন্য …

19 regression  feature-selection  lasso  glmnet 

স্পষ্টতই পিয়ারসনের পারস্পরিক সম্পর্ক সহগ প্যারামিমেট্রিক এবং স্পিয়ারম্যানের rho অ-প্যারাম্যাট্রিক। এটি বুঝতে আমার সমস্যা হচ্ছে। আমি যেমন বুঝতে পেরেছি পিয়ারসনকে হিসাবে গণনা করা হয়েছে এবং একইভাবে গণনা করা হয়, যদি না আমরা তাদের মানগুলির সাথে সমস্ত মানকে প্রতিস্থাপন করি।rxy=cov(X,Y)σxσyrxy=cov(X,Y)σxσy r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} উইকিপিডিয়া বলেছেন প্যারামেট্রিক মডেল এবং নন-প্যারাম্যাট্রিক মডেলের মধ্যে …

19 nonparametric  pearson-r  parametric  spearman-rho 

যদি আমাদের কাছে 2 টি সাধারণ, আনঅর্কিলিটেড এলোমেলো ভেরিয়েবলগুলি তবে আমরা সূত্রটি সহ 2 টি সম্পর্কযুক্ত র্যান্ডম ভেরিয়েবল তৈরি করতে পারিX1,X2X1,X2X_1, X_2 Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 এবং তারপর YYY একটি পারস্পরিক সম্পর্ক থাকবে ρρ\rho সঙ্গে X1X1X_1 । এই সূত্রটি কোথা থেকে এসেছে কেউ ব্যাখ্যা করতে পারেন?

19 correlation  normal-distribution  covariance 

টি-এসএনই এবং বার্নস-হাট আনুমানিক সম্পর্কে আমার বোঝার জন্য সমস্ত ডেটা পয়েন্টের প্রয়োজন হয় যাতে সমস্ত ফোর্স ইন্টারেক্টেশন একই সাথে গণনা করা যায় এবং প্রতিটি পয়েন্ট 2 ডি (বা নিম্ন মাত্রিক) মানচিত্রে সামঞ্জস্য করা যায়। টি-স্নের এমন কোনও সংস্করণ রয়েছে যা দক্ষতার সাথে স্ট্রিমিং ডেটা মোকাবেলা করতে পারে? সুতরাং যদি আমার …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

আমি ভবিষ্যদ্বাণী সঙ্কুচিত / নির্বাচনের জন্য ইলাস্টিক নেট পদ্ধতিতে সত্যই আগ্রহী হয়ে উঠছি। এটি খুব শক্তিশালী বলে মনে হচ্ছে। তবে বৈজ্ঞানিক দৃষ্টিকোণ থেকে আমি সহকর্মীরা একবার পেয়ে গেলে কী করণীয় তা ভাল করে জানিনা। আমি কোন প্রশ্নের উত্তর দিচ্ছি? এটি সেই পরিবর্তনশীল যা ফলাফলটিকে সবচেয়ে বেশি প্রভাবিত করে এবং এইগুলি …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

জনসংখ্যার সমস্ত পরামিতি অনুমান না করা পর্যন্ত আমরা সাধারণত "জনসংখ্যার মুহুর্তগুলিকে তাদের নমুনা অংশের সাথে তুলনা করে" মুহুর্তের অনুমানের পদ্ধতির সাথে পরিচয় করি; যাতে কোনও সাধারণ বিতরণের ক্ষেত্রে আমাদের কেবল প্রথম এবং দ্বিতীয় মুহুর্তের প্রয়োজন হবে কারণ তারা এই বিতরণটিকে পুরোপুরি বর্ণনা করে। ই( এক্স) = μ⟹Σএনi = 1এক্সআমি/ এন= …

19 mathematical-statistics  lognormal  moments  method-of-moments 

রিটার্নগুলি নেতিবাচক হতে পারে, যদিও দামগুলি ইতিবাচক হওয়া উচিত ব্যতীত, লগকে সাধারণ বিতরণ হিসাবে স্টকের দামগুলি মডেলিংয়ের পিছনে অন্য কোনও কারণ আছে তবে সাধারণ বন্টন হিসাবে স্টক রিটার্নকে মডেলিং করে?

19 normal-distribution  lognormal  finance 

আরএনএন পূর্বাভাস, বা সিকোয়েন্স ম্যাপিংয়ের ক্রম হিসাবে ব্যবহার করা যেতে পারে। তবে আরএনএন কীভাবে শ্রেণিবদ্ধের জন্য ব্যবহার করা যেতে পারে? আমি বলতে চাইছি, আমরা একটি সম্পূর্ণ ক্রম একটি লেবেল দিই।

19 machine-learning  neural-networks  rnn 

পাঠ্য বই এবং ইউটিউব লেকচারগুলিতে আমি উত্সাহ দেওয়ার মতো পুনরাবৃত্ত মডেলগুলি সম্পর্কে অনেক কিছু শিখেছি, তবে পূর্বাভাস অন্তরালে প্রাপ্তির বিষয়ে আমি কিছুই দেখিনি। ক্রস বৈধকরণ নিম্নলিখিতগুলির জন্য ব্যবহৃত হয়: মডেল নির্বাচন : বিভিন্ন মডেল ব্যবহার করে দেখুন এবং সবচেয়ে ভাল ফিট করুন এমন একটি চয়ন করুন। উত্সাহ দেওয়ার ক্ষেত্রে, টিউনিং …

19 cross-validation  boosting  prediction-interval