তথ্য বিজ্ঞান

আমাদের সংস্থায়, আমাদের কাছে একটি মোংগোডিবি ডাটাবেস রয়েছে যাতে প্রচুর অরক্ষিত ডেটা থাকে, যার উপর প্রতিবেদন ও অন্যান্য বিশ্লেষণ উত্পন্ন করতে আমাদের মানচিত্র-হ্রাস অ্যালগরিদম চালানো দরকার। প্রয়োজনীয় বিশ্লেষণগুলি বাস্তবায়নের জন্য আমাদের দুটি পন্থা বেছে নিতে হবে: একটি পন্থা হ'ল মঙ্গোডিবি থেকে একটি হ্যাডোপ ক্লাস্টারে ডেটা বের করা এবং বিশ্লেষণ সম্পূর্ণ …

11 scalability  apache-hadoop  map-reduce  mongodb 

LSTMড্রপআউট সহ একাধিক স্তর ব্যবহার করে, সমস্ত আড়াল স্তরগুলির পাশাপাশি আউটপুট ঘন স্তরগুলিতে ড্রপআউট রাখার পরামর্শ দেওয়া হয় কি? হিন্টনের কাগজে (যা ড্রপআউটের প্রস্তাব দিয়েছিল) তিনি কেবল ড্রপআউটকে ঘন স্তরগুলিতে ফেলেছিলেন, তবে এটি কারণ লুকানো অভ্যন্তরীণ স্তরগুলি সংবিধানমূলক ছিল। স্পষ্টতই, আমি আমার নির্দিষ্ট মডেলটির জন্য পরীক্ষা করতে পারি, তবে আমি …

11 neural-network  lstm  rnn  dropout  stacked-lstm 

আমার গবেষণার অংশ হিসাবে, আমি একটি গ্রাফে লেবেল প্রচার সম্পাদন করতে আগ্রহী। আমি এই দুটি পদ্ধতিতে বিশেষত আগ্রহী: জিয়াজিন ঝু ও জউবিন ঘড়ামণি। লেবেল প্রচারের সাথে লেবেলযুক্ত এবং লেবেলযুক্ত ডেটা থেকে শিক্ষা নেওয়া। প্রযুক্তিগত প্রতিবেদন CMU-CALD-02-107, কার্নেগি মেলন বিশ্ববিদ্যালয়, ২০০২ http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf দেঙ্গিয়াং ঝো, অলিভিয়ার বাউসকেট, টমাস নবীন লাল, জেসন ওয়েস্টন, …

11 scikit-learn  graphs 

আমি একটি অ্যালগরিদম বাস্তবায়নের চেষ্টা করছি যেখানে একটি বিমানের টেবিলের উপর বেশ কয়েকটি বস্তু সহ একটি চিত্র দেওয়া হয়েছে, প্রতিটি বস্তুর জন্য বিভাগীয়করণের মুখোশগুলির আউটপুটটি পছন্দসই। সিএনএন-এর মতো নয়, এখানে উদ্দেশ্য হ'ল অপরিচিত পরিবেশে জিনিসগুলি সনাক্ত করা। এই সমস্যার সর্বোত্তম পন্থা কোনটি? এছাড়াও, কোনও বাস্তবায়ন উদাহরণ কি অনলাইনে পাওয়া যায়? …

11 machine-learning  deep-learning  cnn  computer-vision  object-detection 

আমি কেরাস (থিয়ানো ব্যাকগ্রাউন্ড ব্যবহার করে) এলএসটিএম ব্যবহার করে সেক 2 সেক মডেলটিতে কাজ করছি এবং আমি প্রক্রিয়াগুলিকে সমান্তরাল করতে চাই, কারণ প্রশিক্ষণের জন্য খুব কম এমবিএস ডেটা বেশ কয়েক ঘন্টা প্রয়োজন। এটি স্পষ্ট যে জিপিইউগুলি সিপিইউগুলির তুলনায় সমান্তরালে অনেক বেশি ভাল। এই মুহুর্তে, আমার সাথে কাজ করার জন্য কেবল …

11 tensorflow  keras  theano  parallel 

আমি প্রতিটি নথির জন্য পাঠ্য নথির একটি কর্পাসকে শব্দ ভেক্টরে রূপান্তর করছি। আমি এটি টিফিডভেক্টরাইজার এবং একটি হ্যাশিংভেক্টরাইজার ব্যবহার করে চেষ্টা করেছি আমি বুঝতে পারি যে একটি করণীয়গুলির মতো স্কোরগুলি HashingVectorizerবিবেচনা করে না। আমি এখানে এবং এখানে যেমন ব্যাখ্যা করেছি তেমনি বিশাল ডেটাসেটগুলির সাথে কাজ করার সময় এটি যে নমনীয়তাটি …

11 nlp  scikit-learn  text-mining  tfidf 

নিউরাল নেটওয়ার্কগুলিতে লস এবং যথার্থ মেট্রিকের সহাবস্থান থেকে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি। উভয়ই এবং of এর তুলনার "নির্ভুলতা" রেন্ডার করার কথা , তাই না? তাহলে প্রশিক্ষণ পর্বে দু'জন নিরঙ্কুশের প্রয়োগ নয়? তদুপরি তারা কেন পারস্পরিক সম্পর্ক রাখছে না?YYyY^Y^\hat{y}

11 neural-network  evaluation 

আমি টেনসরফ্লোতে নতুন এবং আমি এটি ব্যবহার করার আগে টেনসরফ্লোয়ের ক্ষমতা এবং ত্রুটিগুলি বুঝতে হবে। আমি জানি এটি একটি গভীর শিক্ষার কাঠামো, তবে অন্যান্য মেশিন লার্নিং অ্যালগরিদমগুলি আমরা টেনসর প্রবাহের সাথে ব্যবহার করতে পারি। উদাহরণস্বরূপ আমরা টেনসরফ্লো ব্যবহার করে এসভিএম বা এলোমেলো বন ব্যবহার করতে পারি? (আমি জানি এটি পাগল …

11 machine-learning 

আমি সিএনএন এর জন্য কতগুলি ওজন এবং বায়াসের প্রয়োজন তা নির্ধারণ করার চেষ্টা করছি। বলুন আমার কাছে একটি (3, 32, 32) চিত্র রয়েছে এবং একটি (32, 5, 5) - ফিল্টার প্রয়োগ করতে চাই। প্রতিটি বৈশিষ্ট্যের মানচিত্রের জন্য আমার 5x5 ওজন রয়েছে, সুতরাং আমার 3 x (5x5) x 32 পরামিতি থাকা …

11 deep-learning  convnet  backpropagation 

উদাহরণস্বরূপ একটি শ্রেণিবদ্ধকরণ করার চেষ্টা করার সময়, বর্তমানে আমার পদ্ধতির দিকে যেতে হবে প্রথমে বিভিন্ন অ্যালগরিদম চেষ্টা করে দেখুন এবং সেগুলি বেনমার্ক করুন উপরের ১ থেকে সেরা অ্যালগরিদমে বৈশিষ্ট্য নির্বাচন সম্পাদন করুন নির্বাচিত বৈশিষ্ট্য এবং অ্যালগরিদম ব্যবহার করে পরামিতিগুলি টিউন করুন যাইহোক, আমি প্রায়শই নিজেকে বোঝাতে পারি না যে আরও …

11 feature-selection  parameter-estimation 

ধরুন আমার মতো মসৃণ ফাংশন রয়েছে f(x,y)=x2+y2f(x,y)=x2+y2f(x, y) = x^2+y^2। আমার একটি প্রশিক্ষণ সেট রয়েছে এবং, অবশ্যই আমি জানি না যদিও আমি যেখানেই চাই চ নির্ধারণ করতে পারি।D⊊{((x,y),f(x,y))|(x,y)∈R2}D⊊{((x,y),f(x,y))|(x,y)∈R2}D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}ffffff রিগ্রেশন ট্রিগুলি কি ফাংশনের একটি মসৃণ মডেল সন্ধান করতে সক্ষম (তাই ইনপুটটির একটি ক্ষুদ্র …

11 predictive-modeling  regression  decision-trees 

আমি পাইপার্ক অ্যাপ্লিকেশনগুলির সাথে কাজ করার জন্য আইপিথন নোটবুকটি ব্যবহার করছি। 50k রেঞ্জের আয়ের আওতাধীন কিনা তা নির্ধারণ করতে আমার কাছে প্রচুর শ্রেণীবদ্ধ কলাম সহ একটি সিএসভি ফাইল রয়েছে। আমি আয়ের সীমা নির্ধারণ করতে সমস্ত ইনপুট গ্রহণ করে একটি শ্রেণিবদ্ধকরণ অ্যালগরিদম সম্পাদন করতে চাই। আমাকে ম্যাপযুক্ত ভেরিয়েবলগুলিতে ভেরিয়েবলের একটি অভিধান …

11 python  apache-spark  categorical-data  pyspark 

আমি সংসদ নির্বাচনের ফলাফলের জন্য ভবিষ্যদ্বাণী করতে চাই। আমার আউটপুট প্রতিটি পক্ষের প্রাপ্ত% হবে। 2 টিরও বেশি পক্ষ রয়েছে তাই লজিস্টিক রিগ্রেশন কোনও কার্যকর বিকল্প নয়। আমি প্রতিটি দলের জন্য পৃথক রিগ্রেশন করতে পারি তবে সে ক্ষেত্রে ফলাফলগুলি একে অপর থেকে স্বতন্ত্রভাবে স্বাধীন হবে। এটি নিশ্চিত করে না যে ফলাফলের …

11 classification  r  python  regression  predictive-modeling 

আমি বর্তমানে এসভিএম ব্যবহার করছি এবং [0,1] এর সীমার মধ্যে আমার প্রশিক্ষণ বৈশিষ্ট্যগুলি স্কেলিং করছি। আমি প্রথমে আমার প্রশিক্ষণের সেটটিকে ফিট করি / রূপান্তর করি এবং তারপরে আমার পরীক্ষার সেটে একই রূপান্তরটি প্রয়োগ করি। উদাহরণ স্বরূপ: ### Configure transformation and apply to training set min_max_scaler = MinMaxScaler(feature_range=(0, 1)) X_train = …

11 machine-learning  svm  feature-scaling 

হাই, ডেটা সায়েন্স স্ট্যাকের মধ্যে এটি আমার প্রথম প্রশ্ন। আমি পাঠ্য শ্রেণিবিন্যাসের জন্য একটি অ্যালগরিদম তৈরি করতে চাই। ধরুন আমার কাছে টেক্সট এবং নিবন্ধগুলির একটি বিশাল সেট রয়েছে। প্রায় 5000 টি সরল পাঠ্য বলি। চারটি এবং উপরের অক্ষরের শব্দের ফ্রিকোয়েন্সি নির্ধারণ করতে আমি প্রথমে একটি সাধারণ ফাংশন ব্যবহার করি। আমি …

11 text-mining  clustering