তথ্য বিজ্ঞান

আমি এমন একটি অ্যাপ্লিকেশন নিয়ে কাজ করছি যার জন্য একটি বড় টেক্সট কর্পাসে বিদ্যমান এন-গ্রামের একটি খুব বড় ডেটাবেস তৈরি করা দরকার। আমার তিনটি দক্ষ অপারেশন প্রকারের প্রয়োজন: ল-আপ এবং সন্নিবেশ এন-গ্রাম নিজেই সূচীকরণ এবং একটি উপ-এন-গ্রাম থাকা সমস্ত এন-গ্রাম অনুসন্ধান করে। এটি আমার কাছে শোনাচ্ছে যেমন ডাটাবেসটি একটি বিশাল …

12 nlp  databases 

আমি বর্তমানে স্বাস্থ্য বীমা দাবির একটি বড় সংখ্যার ডেটা নিয়ে কাজ করছি যাতে কিছু পরীক্ষাগার এবং ফার্মাসির দাবী অন্তর্ভুক্ত রয়েছে। ডেটা সেটে সর্বাধিক ধারাবাহিক তথ্যগুলি নির্ণয় (আইসিডি -9 সিএম) এবং পদ্ধতি কোডগুলি (সিপিটি, এইচসিএসপিএস, আইসিডি -9 সিএম) দিয়ে তৈরি। আমার লক্ষ্যগুলি হ'ল: দীর্ঘস্থায়ী কিডনি রোগের মতো চিকিত্সার অবস্থার জন্য সর্বাধিক …

12 machine-learning  r 

আমি বর্তমানে পাঠ্য থেকে উত্তোলিত বিভিন্ন সত্তায় বেশ কয়েকটি পৃথক শ্রেণিবদ্ধকারী ব্যবহার করছি এবং প্রতিটি পৃথক শ্রেণিবদ্ধকারী প্রদত্ত ডেটাসেট জুড়ে কতটা ভাল সম্পাদন করে তার সংক্ষিপ্তসার হিসাবে যথার্থ / স্মরণ ব্যবহার করছি। আমি ভাবছি যদি এই শ্রেণিবদ্ধদের পারফরম্যান্সের সাথে একইভাবে তুলনা করার কোনও অর্থবোধক উপায় থাকে তবে যা পরীক্ষার ডেটাগুলিতে …

12 classification  performance 

আমি বুঝতে পারি যে সংকোচনের পদ্ধতিগুলি দুটি প্রধান সেটে বিভক্ত হতে পারে: বিশ্বব্যাপী স্থানীয় প্রথম সেটটি ডেটা প্রক্রিয়াজাতকরণ নির্বিশেষে কাজ করে, অর্থাত্‍ তারা ডেটার কোনও বৈশিষ্ট্যের উপর নির্ভর করে না, এবং এইভাবে ডেটাসেটের কোনও অংশে (সংক্ষেপণের আগেই) কোনও প্রিপ্রোসেসিংয়ের প্রয়োজন হয় না। অন্যদিকে, স্থানীয় পদ্ধতিগুলি ডেটা বিশ্লেষণ করে তথ্য আহরণ …

12 classification  algorithms  encoding 

এই পাশের প্রকল্পটি আমি কাজ করছি যেখানে আমাকে নিম্নলিখিত সমস্যার সমাধানের কাঠামো তৈরি করতে হবে। আমার দুটি গ্রুপ (ক্লায়েন্ট) রয়েছে। গোষ্ঠী ক্রয় Aকরতে ইচ্ছুক এবং গোষ্ঠী Bএকটি নির্ধারিত পণ্য বিক্রয় করার ইচ্ছা করে X। পণ্যটির বৈশিষ্ট্যগুলির একটি ধারা রয়েছে x_iএবং আমার উদ্দেশ্য হল তাদের পছন্দগুলির সাথে Aএবং এর সাথে Bমিলে …

12 bigdata  text-mining  recommender-system 

হাদুপ এবং এর ইকো-সিস্টেমকে ঘিরে প্রচুর হাইপ রয়েছে। যাইহোক, অনুশীলনে, যেখানে অনেক ডেটা সেট টেরাবাইট সীমার মধ্যে রয়েছে, হ্যাডোপ ক্লাস্টার তৈরির জন্য সময় এবং প্রচেষ্টা ব্যয় করার চেয়ে বড় ডেটা সেট অনুসন্ধানের জন্য অ্যামাজন রেডশিফ্ট ব্যবহার করা কি আরও যুক্তিসঙ্গত নয় ? এছাড়াও, অ্যামাজন রেডশিফ্ট কীভাবে সেটআপ জটিলতা, ব্যয় এবং …

12 apache-hadoop  map-reduce  aws 

ডেটা প্রসেসিংয়ের জন্য হাডোপ ক্লাস্টারে স্টর্ম এবং ম্যাপ্রেডিউসের মধ্যে বেছে নেওয়ার সময় কেউ কি দয়া করে আমাকে জড়িত ট্রেড-অফগুলি সম্পর্কে দয়া করে বলতে পারেন? অবশ্যই, স্পষ্টত একটিকে বাদ দিয়ে, হ্যাডোপ (একটি হ্যাডোপ ক্লাস্টারে ম্যাপ্রেডিউসের মাধ্যমে প্রক্রিয়াজাতকরণ) একটি ব্যাচ প্রসেসিং সিস্টেম এবং স্টর্ম হ'ল রিয়েল-টাইম প্রসেসিং সিস্টেম। আমি হ্যাডোপ ইকো সিস্টেমের …

12 bigdata  efficiency  apache-hadoop  distributed 

বন্ধ । এই প্রশ্নটি মতামত ভিত্তিক । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্নটি আপডেট করুন যাতে পোস্টটি সম্পাদনা করে সত্য এবং উদ্ধৃতি দিয়ে উত্তর দেওয়া যায় । 5 বছর আগে বন্ধ । সাধারণভাবে মেশিন-লার্নিংয়ে নতুন হওয়ার কারণে, আমি চারপাশে খেলা শুরু করতে এবং সম্ভাবনাগুলি …

12 machine-learning 

প্রায়শই "মিডিয়াম ডেটা" প্রকল্পগুলির নামে পরিচিত হতে পারে এমন বিষয়ে কাজ করে, আমি আমার কোডটি (বেশিরভাগই পাইথনের মডেলিং এবং পূর্বাভাসের জন্য) 4 থেকে 32 কোরের যে কোনও জায়গায় একক সিস্টেমে সমান্তরাল করতে সক্ষম হয়েছি। এখন আমি ইসি 2 (সম্ভবত স্টারক্লাস্টার / আইপিথন সহ, তবে অন্যান্য পরামর্শগুলির জন্য উন্মুক্ত) এ ক্লাস্টারগুলি …

12 parallel  clusters  aws 

বিখ্যাত টেনসরফ্লো ফিজ বাজ রসিকতা এবং এক্সওর সমস্যার প্রবণতায় আমি ভাবতে শুরু করেছিলাম, যদি ফাংশন কার্যকর করে এমন একটি নিউরাল নেটওয়ার্ক ডিজাইন করা সম্ভব হয় ?y=x2y=x2y = x^2 কোনও সংখ্যার কিছু উপস্থাপনা দেওয়া (যেমন বাইনারি আকারে ভেক্টর হিসাবে, যাতে সেই সংখ্যাটি 5প্রতিনিধিত্ব করা হয় [1,0,1,0,0,0,0,...]), স্নায়বিক নেটওয়ার্কটি এই ক্ষেত্রে তার …

12 machine-learning  neural-network 

আমি জানি যে একটি নিউরাল-নেটওয়ার্ক আর্কিটেকচার বেশিরভাগই সমস্যা এবং নিজেই ইনপুট / আউটপুটের ধরণের উপর ভিত্তি করে তৈরি হয়, তবে এখনও - একটি নির্মাণ শুরু করার সময় সর্বদা একটি "বর্গক্ষেত্র" থাকে। সুতরাং আমার প্রশ্নটি হল - এমএক্সএন-এর একটি ইনপুট ডেটাসেট দেওয়া হয়েছে (এম রেকর্ডের সংখ্যা, এন বৈশিষ্ট্যের সংখ্যা) এবং একটি …

12 neural-network 

ভিজিজি, রেসনেট ইত্যাদির মতো বেশিরভাগ উন্নত গভীর শেখার মডেলগুলিকে সাধারণত ইনপুট হিসাবে বর্গক্ষেত্রের চিত্রের প্রয়োজন হয়, সাধারণত পিক্সেলের আকার 224 x 224224এক্স224224x224 । ইনপুটটি সমান আকারের হওয়ার কোনও কারণ আছে কি, বা আমি 100 x 200100এক্স200100x200 বলার সাথে একটি কনফেট মডেলও তৈরি করতে পারি (যদি আমি উদাহরণস্বরূপ ফেসিয়াল স্বীকৃতিটি করতে …

12 deep-learning  image-classification  image-recognition 

রিগ্রেশন সমস্যার জন্য কিছু অভিজ্ঞতাবাদী বৈশিষ্ট্য নির্বাচন করার জন্য আমি র্যান্ডম অরণ্য থেকে বৈশিষ্ট্য আমদানি ব্যবহার করার চেষ্টা করছিলাম যেখানে সমস্ত বৈশিষ্ট্যগুলি শ্রেণিবদ্ধ এবং তাদের অনেকের অনেকগুলি স্তর রয়েছে (100-1000 এর ক্রম অনুসারে)। এক-হট এনকোডিং প্রতিটি স্তরের জন্য একটি ডামি ভেরিয়েবল তৈরি করে এই বৈশিষ্ট্যটি আমদানি প্রতিটি স্তরের জন্য এবং …

12 scikit-learn  feature-selection  random-forest  xgboost  categorical-data 

আমি আশা করি যে নিম্নলিখিত প্রশ্নাগুলি আমার প্রশ্নটি কী হবে তা অন্তর্দৃষ্টি প্রদান করবে। এগুলি হ'ল http://neuranetworksandDPlearning.com/chap3.html থেকে পড়াশোনা তখন ধীরে ধীরে ধীর হয়ে যায়। শেষ অবধি, প্রায় 280 এর প্রায় ক্লাসিফিকেশন যথার্থতা প্রায় উন্নতি বন্ধ করে। পরবর্তী যুগের যুগে যুগে যুগে যুগে যুগে যথার্থতার মানের নিকটে কেবল ছোট স্টোকাস্টিকের …

12 neural-network  overfitting 

আমি এমন একটি প্রকল্প শুরু করছি যেখানে কাজটি ইমেজগুলি থেকে স্নিকারের প্রকারগুলি সনাক্ত করা। আমি বর্তমানে টেনসরফ্লো এবং মশাল প্রয়োগগুলি পড়ছি । আমার প্রশ্ন: ক্লাসে কতগুলি চিত্রের যুক্তিসঙ্গত শ্রেণিবিন্যাসের পারফরম্যান্সে পৌঁছানোর প্রয়োজন হয়?

12 machine-learning  neural-network  image-classification  convnet  image-recognition