পরিসংখ্যান এবং বড় তথ্য

আমি যখন পরিসংখ্যান শিখছিলাম তখন এই দুটি এক্সপ্রেশন আমাকে অনেক গুলিয়ে ফেলেছিল। আমার কাছে মনে হয় এগুলি সম্পূর্ণ আলাদা জিনিস। একটি এলোমেলো নমুনা এলোমেলোভাবে একটি জনসংখ্যার থেকে একটি নমুনা নেওয়া, অন্যদিকে একটি র্যান্ডম ভেরিয়েবল এমন একটি ফাংশনের মতো যা পরীক্ষার সমস্ত সম্ভাব্য ফলাফলের সেটকে একটি বাস্তব সংখ্যায় মানচিত্র করে। তবে, …

13 mathematical-statistics  random-variable  terminology  sample 

আমার প্রশ্ন নিম্নলিখিত সত্য থেকে আসে। আমি পোস্ট, ব্লগ, বক্তৃতা পাশাপাশি মেশিন লার্নিংয়ের বই পড়ছি। আমার ধারণাটি হ'ল মেশিন লার্নিং অনুশীলনকারীরা পরিসংখ্যানবিদ / একনোমেট্রিক্স যে বিষয়গুলি যত্নবান হন সে সম্পর্কে অনেক কিছুই উদাসীন বলে মনে হয়। বিশেষত, মেশিন লার্নিং অনুশীলনকারীরা অনুমানের চেয়ে পূর্বাভাসের নির্ভুলতার উপর জোর দেয়। এরকমই একটি উদাহরণ …

13 machine-learning  self-study  inference 

আমি বুঝতে পেরেছি যে ওয়েবে ক্লিক-থ্রো-রেটের পূর্বাভাস দেওয়ার জন্য লজিস্টিক রিগ্রেশন ঘন ঘন ব্যবহৃত হয় এটি হ'ল এটি ভাল-ক্যালিব্রেটেড মডেল তৈরি করে। এর জন্য কি গাণিতিক ব্যাখ্যা আছে?

13 regression  logistic 

প্রপেনসিটি স্কোর ম্যাচিং পর্যবেক্ষণমূলক স্টাডিজগুলিতে কার্যকারণ নির্ধারণের জন্য ব্যবহৃত হয় ( রোজেনবাউম / রুবিন পেপার দেখুন )। এটি কেন কাজ করে তার পিছনে সহজ স্বজ্ঞাততা কী? অন্য কথায়, যদি আমরা নিশ্চিত করে নিই যে চিকিত্সায় অংশ নেওয়ার সম্ভাবনা দুটি গ্রুপের জন্য সমান, বিভ্রান্তিকর প্রভাবগুলি অদৃশ্য হয়ে যায়, এবং আমরা ফলাফলটি …

13 causality  regression-strategies  propensity-scores  confounding 

আমি ডেটা সেট (7000 নরমালাইজড পর্যবেক্ষণ সহ প্রায় 14 টি প্যারামিটার) ক্রসওয়েডিয়েশন সহ লজিস্টিক রিগ্রেশন করতে সাইকিট-লার্ন ব্যবহার করছি। আমার কাছে একটি টার্গেট ক্লাসিফায়ারও রয়েছে যার মান 1 বা 0 হয়। আমার সমস্যাটি হ'ল সলভারটি নির্বিশেষে, আমি কনভার্জেন্স সতর্কতা পেয়ে যাচ্ছি ... model1 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='newton-cg',penalty='l2') /home/b/anaconda/lib/python2.7/site-packages/scipy/optimize/linesearch.py:285: LineSearchWarning: The line search …

13 logistic  cross-validation  scikit-learn 

সত্যিই এই এক স্ট্যাম্পড। আমি সত্যিই এমন একটি উদাহরণ বা পরিস্থিতি চাই যেখানে কোনও অনুমানকারী বি উভয়ই সামঞ্জস্যপূর্ণ এবং পক্ষপাতদুষ্ট হবে।

13 mathematical-statistics  estimation  econometrics 

আমি কলামটি স্বাভাবিকের পিছনে যুক্তিটি বুঝতে পারি, কারণ এটি একই বৈশিষ্ট্যগুলিকে একই স্কেলে পরিমাপ করা না হলেও সমানভাবে ওজন করা যায় - তবে প্রায়শই নিকটবর্তী প্রতিবেশী সাহিত্যে, কলাম এবং সারি উভয়ই স্বাভাবিক হয়। সারিগুলির সাধারণকরণ কীভাবে / কেন সারিগুলিকে সাধারণীকরণ করা হয়? বিশেষতঃ সারিটি স্বাভাবিককরণের ফলাফল কীভাবে সারি ভেক্টরগুলির মধ্যে …

13 normalization  distance  similarities  k-nearest-neighbour 

লজিস্টিক রিগ্রেশন বিশ্লেষণে ধারাবাহিক প্রেডিকটার ভেরিয়েবলের জন্য লগিতে লিনিয়ারিটি ধরে নিয়ে আমি বিভ্রান্ত হয়ে পড়েছি। অবিভাজ্য লজিস্টিক রিগ্রেশন বিশ্লেষণ ব্যবহার করে সম্ভাব্য ভবিষ্যদ্বাণীদের স্ক্রীন করার সময় কি আমাদের লিনিয়ার সম্পর্কের জন্য চেক করা দরকার? আমার ক্ষেত্রে, আমি অংশগ্রহণকারীদের মধ্যে পুষ্টির স্থিতি (দ্বিধাত্বিক ফলাফল) এর সাথে যুক্ত কারণগুলি সনাক্ত করতে একাধিক …

13 regression  logistic  assumptions  splines  regression-strategies 

এটি বুটস্ট্র্যাপের মতো: অনুমানটি আত্মবিশ্বাসের ব্যবধানের বাইরে আমার কাছে কিছু তথ্য রয়েছে যা একটি জনসংখ্যার জিনোটাইপের সংখ্যার প্রতিনিধিত্ব করে। আমি শ্যাননের সূচক ব্যবহার করে জিনগত বৈচিত্র্য অনুমান করতে এবং বুটস্ট্র্যাপিং ব্যবহার করে একটি আত্মবিশ্বাসের ব্যবধানও তৈরি করতে চাই। তবে আমি লক্ষ করেছি যে বুটস্ট্র্যাপিংয়ের মাধ্যমে অনুমানটি চূড়ান্ত পক্ষপাতদুষ্ট হয়ে থাকে …

13 r  confidence-interval  bootstrap  bias  diversity 

আমি প্রয়োগ করেছি গাউসী প্রক্রিয়া রিগ্রেশন অ্যালগরিদমের হাইপারপ্যারামিটারগুলি টিউন করার চেষ্টা করছি। আমি কেবল সূত্র given দ্বারা প্রদত্ত লগের প্রান্তিক সম্ভাবনাটি সর্বাধিক করতে চাই যেখানে K এর সাথে সমবায় ম্যাট্রিক্স উপাদানসমূহ কে_ {ইজ} = কে (এক্স_আই, এক্স_জে) = বি ^ {- ১} \ এক্সপ্রেস (- \ ফ্রে্যাক {1} {2} (x_i-x_j) …

13 regression  optimization  gaussian-process  hyperparameter 

আমি স্বাক্ষর স্বীকৃতির জন্য ১৯৯৪ সালে ইয়ান লেকুন এবং তার সহযোগীদের দ্বারা প্রবর্তিত সাইমাস নিউরাল নেটওয়ার্কের আর্কিটেকচার অধ্যয়ন করছি ( " সাইমাস সময় বিলম্বিত নিউরাল নেটওয়ার্ক ব্যবহার করে স্বাক্ষর যাচাইকরণ"। পিডিএফ , এনআইপিএস ১৯৯৪) আমি এই আর্কিটেকচারের সাধারণ ধারণাটি বুঝতে পেরেছিলাম, তবে ব্যাকপ্রোপেশন এই ক্ষেত্রে কীভাবে কাজ করে তা আমি …

13 neural-networks 

সংকুচিত শব্দটি নির্দিষ্ট চেনাশোনাগুলিতে প্রচুর পরিমাণে ছড়িয়ে পড়ে। তবে সংকোচনের বিষয়টি কী, এর স্পষ্ট সংজ্ঞা বলে মনে হয় না। আমার যদি কোনও টাইম সিরিজ থাকে (বা কোনও প্রক্রিয়া পর্যবেক্ষণের কোনও সংগ্রহ) আমি বিভিন্ন ধরণের কীভাবে সিরিজের কিছু প্রকারের অভিজ্ঞতাগত সংকোচনের পরিমাপ করতে পারি? আমি বিভিন্ন ধরণের তাত্ত্বিক সংকোচনের কথা বলতে …

13 estimation  predictive-models  shrinkage 

মনে করুন যে কোনও গেম কোনও ইভেন্ট সরবরাহ করে যা সমাপ্ত হওয়ার পরে হয় পুরস্কার দেয় বা কিছুই দেয় না। পুরষ্কারটি দেওয়া হয়েছে কিনা তা নির্ধারণের সঠিক প্রক্রিয়াটি অজানা, তবে আমি ধরে নিই যে একটি এলোমেলো সংখ্যা জেনারেটর ব্যবহৃত হয়েছে, এবং ফলাফলটি যদি কিছু হার্ড-কোডেড মানের চেয়ে বেশি হয় তবে …

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

কার্নেল পিসিএ (মূল উপাদান বিশ্লেষণ) দ্বারা চূড়ান্ত ডেটা আউটপুটে ভাল ডেটা বিচ্ছিন্নতার ফলাফল কী তা চয়ন করার উপায়গুলি কী কী এবং কার্নেলের প্যারামিটারগুলি অনুকূল করার উপায়গুলি কী কী? সম্ভব হলে লেম্যানের শর্তাদি ব্যাপকভাবে প্রশংসিত হবে এবং এই জাতীয় পদ্ধতিগুলির ব্যাখ্যা করে এমন কাগজের লিঙ্কগুলিও দুর্দান্ত হবে।

13 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

মেশিন শেখার আমরা ব্যবহার করতে পারি আরওসি বক্ররেখা অধীনে এলাকায় (প্রায়ই সংক্ষিপ্ত AUC , অথবা AUROC) সংক্ষেপ কত ভাল একটি সিস্টেম দুই শ্রেণীর মধ্যে বৈষম্য করতে পারেন। সিগন্যাল সনাক্তকরণ তত্ত্বে প্রায়শই (সংবেদনশীলতা সূচক) একই উদ্দেশ্যে ব্যবহৃত হয়। দুটি ঘনিষ্ঠভাবে সংযুক্ত, এবং আমি বিশ্বাস করি যে তারা যদি কিছু অনুমানগুলি সন্তুষ্ট …

13 machine-learning  roc  auc  signal-detection  d-prime