পরিসংখ্যান এবং বড় তথ্য

আমি দেখতে পাচ্ছি যে প্রচুর পরিমাণে মেশিন লার্নিং অ্যালগরিদমগুলি গড় বাতিল এবং সমবায় সমীকরণের সাথে আরও ভাল কাজ করে। উদাহরণস্বরূপ, নিউরাল নেটওয়ার্কগুলি দ্রুত রূপান্তরিত করে এবং কে-মিনস সাধারণত প্রাক-প্রক্রিয়াজাত বৈশিষ্ট্যগুলির সাথে আরও ভাল ক্লাস্টারিং দেয়। প্রি-প্রসেসিং পদক্ষেপগুলির পিছনে অন্তর্নিহিততা দেখায় না উন্নত পারফরম্যান্সের দিকে নিয়ে যায়। কেউ আমাকে এই ব্যাখ্যা …

60 machine-learning  neural-networks  covariance  normalization 

অন্যান্য প্রসঙ্গে, অরথোগোনাল অর্থ "ডান কোণে" বা "লম্ব"। সংখ্যাতাত্ত্বিক প্রসঙ্গে অর্থথোনাল অর্থ কী? কোন স্পষ্টতার জন্য ধন্যবাদ।

60 descriptive-statistics 

মনে করুন আমাদের কাছে কোনও ভবিষ্যদ্বাণীপূর্ণ মডেল তৈরি করছে তবে কেউ সঠিকভাবে পরিসংখ্যান বা মেশিন লার্নিং নীতিগুলিতে পারদর্শী নয়। হতে পারে আমরা সেই ব্যক্তিকে তারা শেখার সাথে সাথে সহায়তা করছি বা হতে পারে সেই ব্যক্তি কোনও ধরণের সফ্টওয়্যার প্যাকেজ ব্যবহার করছেন যার ব্যবহার করার জন্য ন্যূনতম জ্ঞানের প্রয়োজন। এখন এই …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

হায়ারারিকিকাল ক্লাস্টারিং একটি ডেনড্রগ্রাম দ্বারা প্রতিনিধিত্ব করা যেতে পারে। একটি নির্দিষ্ট স্তরে একটি ডেনড্রোগ্রাম কাটা ক্লাস্টারের একটি সেট দেয়। অন্য স্তরে কাটা ক্লাস্টারের আরও একটি সেট দেয়। আপনি ডেনড্রোগ্রাম কাটা কোথায় বেছে নেবেন? এমন একটি কি আছে যা আমরা একটি অনুকূল বিষয় বিবেচনা করতে পারি? যদি আমি সময়ের সাথে সাথে …

60 clustering  dendrogram 

আমি যা জানি, তার থেকে ভেরিয়েবল নির্বাচনের জন্য লাসো ব্যবহার করা সহ সম্পর্কিত ইনপুটগুলির সমস্যা পরিচালনা করে। এছাড়াও, যেহেতু এটি সর্বনিম্ন অ্যাঙ্গেল রিগ্রেশন সমতুল্য, এটি গণনাগতভাবে ধীর হয় না। তবে, অনেক লোক (উদাহরণস্বরূপ লোকেরা বায়ো-স্ট্যাটিস্টিকস করা আমি জানি) এখনও ধাপে ধাপে বা স্টেজওয়াইজ ভেরিয়েবল নির্বাচনের পক্ষপাতী বলে মনে হচ্ছে। লসো …

60 regression  feature-selection  lasso 

আনোভা কীভাবে দৃষ্টিভঙ্গি দিয়ে ব্যাখ্যা করার কোন উপায় (উপায়?) আছে? কোনও রেফারেন্স, লিঙ্ক (গুলি) (আর প্যাকেজ?) স্বাগত জানানো হবে।

60 data-visualization  anova  teaching 

ক্লাস্টারিং অ্যালগরিদমের (যেমন কে-মানে) আগে পিসিএ (মূল উপাদান বিশ্লেষণ) প্রয়োগ করা একটি সাধারণ অনুশীলন। এটি বিশ্বাস করা হয় যে এটি অনুশীলন (শব্দ হ্রাস) এর ক্লাস্টারিং ফলাফলগুলিতে উন্নতি করে। তবে আমি পিসিএ এবং কে-মাধ্যমের মধ্যে সম্পর্কের তুলনামূলক এবং গভীর গভীর অধ্যয়নে আগ্রহী। উদাহরণস্বরূপ, ক্রিস ডিং এবং জিয়াওফেং তিনি, 2004, কে-মানে ক্লাস্টারিংয়ের …

60 clustering  pca  k-means 

আমি বুঝতে পারি যে রিজ রিগ্রেশন অনুমানটি হ'ল যা বর্গের অবশিষ্টাংশ এবং আকারের জরিমানার পরিমাণকে হ্রাস করেβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] যাইহোক, আমি সম্পূর্ণরূপে সত্য যে তাৎপর্য বুঝতে পারছি না βridgeβridge\beta_\text{ridge} থেকে পৃথক βOLSβOLS\beta_\text{OLS} শুধুমাত্র তির্যক করার জন্য একটি ছোট ধ্রুবক যোগ …

59 regression  least-squares  ridge-regression  shrinkage 

নিম্নলিখিত অংশটি এন্ট্রি থেকে পাওয়া যায়, এক-লেজ এবং দুই-লেজ পরীক্ষার মধ্যে পার্থক্য কী? , ইউসিএলএর পরিসংখ্যান সহায়তা সাইটে। ... অন্যদিকে কোনও প্রভাব হারিয়ে যাওয়ার পরিণতি বিবেচনা করুন। কল্পনা করুন যে আপনি একটি নতুন ওষুধ তৈরি করেছেন যা আপনি বিশ্বাস করেন যে বিদ্যমান ড্রাগের চেয়ে উন্নতি an আপনি উন্নতি সনাক্তকরণের সক্ষমতা …

59 hypothesis-testing  statistical-significance  inference 

গ্রেডিয়েন্ট বংশদ্ভুত এবং অন্যান্য অনেকগুলি পদ্ধতি ব্যয় কার্যক্রমে স্থানীয় মিনিমা সন্ধানের জন্য দরকারী। তারা কার্যকর হতে পারে যখন প্রতিটি বিন্দুতে ব্যয় কার্যকারিতা দ্রুত মূল্যায়ন করা যায়, সংখ্যাসূচক বা বিশ্লেষণাত্মক হোক না কেন। আমার কাছে যা অস্বাভাবিক পরিস্থিতি বলে মনে হয় তা আমার কাছে রয়েছে। আমার ব্যয় ক্রিয়াকলাপের প্রতিটি মূল্যায়ন ব্যয়বহুল। …

59 gradient-descent  optimization  bayesian-optimization 

নাল অনুমানের তাত্পর্য পরীক্ষা করার একটি প্রাথমিক সীমাবদ্ধতা হ'ল এটি কোনও গবেষককে শূন্যের পক্ষে প্রমাণ সংগ্রহ করতে দেয় না ( উত্স ) আমি এই দাবিটি একাধিক স্থানে পুনরাবৃত্তি করতে দেখছি, তবে আমি এর পক্ষে ন্যায়সঙ্গততা খুঁজে পাচ্ছি না। আমরা একটি বড় গবেষণায় সঞ্চালন এবং আমরা যদি নাল হাইপোথিসিস বিরুদ্ধে পরিসংখ্যানগত …

59 hypothesis-testing 

আমি দেখতে পাচ্ছি যে বিশ মোট পরীক্ষার তারা রান আউট এক সময় , তাই তারা ভুলভাবে বিশ পরীক্ষার এক সময় অনুমান, ফলে উল্লেখযোগ্য ( 0.05 = 1 / 20 )।p&lt;0.05p&lt;0.05p < 0.050.05=1/200.05=1/200.05 = 1/20 xkcd জেলি শিম কমিক - "উল্লেখযোগ্য" শিরোনাম: তাৎপর্যপূর্ণ পাঠ্যটি হোভার করুন: "'তাই, আহ, আমরা আবার সবুজ …

59 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

পরিসংখ্যানের পৃথিবীটি ঘন ঘন এবং বায়েশীয়দের মধ্যে বিভক্ত ছিল। এই দিনগুলি দেখে মনে হচ্ছে সবাই দুজনেই কিছুটা করে। এটা কিভাবে হতে পারে? যদি বিভিন্ন পদ্ধতির জন্য বিভিন্ন সমস্যার উপযোগী হয় তবে পরিসংখ্যানের প্রতিষ্ঠাতা পিতারা কেন এটি দেখেন নি? বিকল্পভাবে, বিতর্কটি কী ফ্রিকোয়েন্সিস্টদের দ্বারা জয়লাভ করে এবং সত্য বিষয়ী বায়েশিয়ানরা সিদ্ধান্ত …

59 bayesian  frequentist  history  philosophical 

আমি জেডসিএ সাদা এবং স্বাভাবিক সাদা করার বিষয়ে বিভ্রান্ত হয়ে পড়েছি (যা পিসিএ ইগেনভ্যালুগুলির বর্গমূলের দ্বারা মূল উপাদানগুলি ভাগ করে নেওয়া হয়)। যতদুর আমি জানি, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, যেখানে PCA eigenvectors।UU\mathbf U জেডসিএ হোয়াইটিংয়ের ব্যবহারগুলি কী? সাধারণ সাদা এবং জেডসিএ হোয়াইটিংয়ের মধ্যে পার্থক্য কী?

59 pca  dimensionality-reduction  image-processing 

আমি ফিশারের তথ্য, এটি কীভাবে পরিমাপ করে এবং কীভাবে সহায়ক তা নিয়ে আরামদায়ক নই। এছাড়াও এটি ক্র্যামার-রাওর সাথে আবদ্ধ হওয়ার সম্পর্ক আমার কাছে আপাত নয়। কেউ দয়া করে এই ধারণাগুলির একটি স্বজ্ঞাত ব্যাখ্যা দিতে পারেন?

59 estimation  intuition  fisher-information