প্রশ্ন ট্যাগ «dimensionality-reduction»

উইকিপিডিয়া থেকে, মাত্রিকতা হ্রাস বা মাত্রা হ্রাস বিবেচনাধীন র্যান্ডম ভেরিয়েবলের সংখ্যা হ্রাস করার প্রক্রিয়া, এবং বৈশিষ্ট্য নির্বাচন এবং বৈশিষ্ট্য নিষ্কাশন মধ্যে বিভক্ত করা যেতে পারে। বৈশিষ্ট্য নির্বাচন এবং বৈশিষ্ট্য নিষ্কাশন মধ্যে পার্থক্য কি? প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কার্যে মাত্রা হ্রাসের উদাহরণ কী?

58 feature-selection  feature-extraction  dimensionality-reduction 

আমার কাছে প্রচুর ডেটা রয়েছে (প্রায় 8 জিবি)। আমি এটি বিশ্লেষণ করতে মেশিন লার্নিং ব্যবহার করতে চাই। সুতরাং, আমি মনে করি দক্ষতার জন্য ডেটা মাত্রিকতা হ্রাস করার জন্য আমার এসভিডি তখন পিসিএ ব্যবহার করা উচিত। তবে ম্যাটল্যাব এবং অকটাভ এত বড় ডেটাসেট লোড করতে পারে না। এত বড় ডেটা দিয়ে …

29 bigdata  data-mining  dimensionality-reduction 

আমার ফেসবুক অ্যাপ্লিকেশন থেকে আমার একটি ডাটাবেস রয়েছে এবং আমি তাদের ফেসবুকের সাইটগুলি কী পছন্দ করে তার ভিত্তিতে ব্যবহারকারীদের বয়সের অনুমান করতে মেশিন লার্নিং ব্যবহার করার চেষ্টা করছি। আমার ডাটাবেসের তিনটি গুরুত্বপূর্ণ বৈশিষ্ট্য রয়েছে: আমার প্রশিক্ষণ সেটে বয়সের বিতরণ (সমুদ্রের 12 কেজি ব্যবহারকারী) তরুণ ব্যবহারকারীদের দিকে ঝুঁকছে (যেমন আমার 277 …

25 machine-learning  dimensionality-reduction  python 

টি-এসএনই, আইসোম্যাপ, পিসিএ, তদারকি করা পিসিএ ইত্যাদির মতো হাই ডাইমেনশন ডেটাসেটগুলি ভিজ্যুয়ালাইজ করার জন্য অনেক কৌশল রয়েছে এবং আমরা ডেটা 2 ডি বা 3 ডি স্পেসে প্রজেক্ট করার গতিতে চলে যাই, সুতরাং আমাদের কাছে "সুন্দর ছবিগুলি" রয়েছে "। এই এম্বেডিং (নানাবিধ লার্নিং) পদ্ধতির কিছু বর্ণনা করা হয় এখানে । কিন্তু …

23 machine-learning  dimensionality-reduction  visualization 

টি-স্নেড এমবেডিংয়ের মাত্রাগুলির কোনও অর্থ আছে কি? পিসিএর মতো আমরাও এই রৈখিক রূপান্তরিত বৈকল্পিকতা সর্বাধিকীকরণের অনুভূতিটি পেয়েছি তবে টি-স্নে জন্য কেএল-দূরত্বের ম্যাপিং এবং মিনিমাইজেশনের জন্য আমরা যে স্থানটি সংজ্ঞায়িত করেছি সেগুলি ছাড়াও কি স্বজ্ঞাততা আছে?

18 dimensionality-reduction  tsne 

আমি 200 টি মাত্রা ( doc2vec) সহ প্রায় 1 মিলিয়ন ভেক্টরগুলিতে মাত্রিকতা হ্রাস করতে চাই । আমি এর জন্য মডিউল TSNEথেকে বাস্তবায়নটি ব্যবহার করছি sklearn.manifoldএবং প্রধান সমস্যাটি সময় জটিলতা is এমনকি method = barnes_hut, গণনার গতি এখনও কম। কিছু সময় এমনকি এটি মেমরির বাইরে চলে যায়। আমি এটিকে 130 জি …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

আমার কাছে ব্যবহারকারীরা এবং তাদের পছন্দ মতো আইটেমগুলির একটি বিশাল স্পার্স ম্যাট্রিক্স রয়েছে (খুব কম মাত্রার স্পারসিটি সহ 1M ব্যবহারকারী এবং 100K আইটেমের ক্রমে)। আমি যে পদ্ধতিতে আমি এতে কেএনএন অনুসন্ধান করতে পারি তা অন্বেষণ করছি। আমার ডেটাসেটের আকার এবং আমি সম্পাদিত কিছু প্রাথমিক পরীক্ষাগুলি দেওয়া, আমার ধারনা হ'ল যে …

17 machine-learning  distributed  map-reduce  dimensionality-reduction 

বৈশিষ্ট্য নিষ্কাশন এবং বৈশিষ্ট্য নির্বাচন মূলত ডেটার মাত্রিকতা হ্রাস করে, তবে বৈশিষ্ট্য নিষ্কাশনটি যদি আমি সঠিক থাকি তবে ডেটাটিকে আরও বিভাজ্য করে তোলে। কোন কৌশলটি অন্যের চেয়ে বেশি পছন্দ হবে এবং কখন? আমি ভাবছিলাম, যেহেতু বৈশিষ্ট্য নির্বাচনটি মূল ডেটা এবং এর বৈশিষ্ট্যগুলিকে সংশোধন করে না, তাই আমি ধরে নিয়েছি যে …

16 feature-selection  feature-extraction  dimensionality-reduction 

আমি হিন্টনের কাগজ থেকে বুঝতে পারি যে টি-এসএনই স্থানীয় সাদৃশ্য রাখতে এবং বিশ্বব্যাপী কাঠামো (গুচ্ছবদ্ধকরণ) সংরক্ষণে একটি শালীন কাজ করে। তবে আমি স্পষ্ট নই যে 2D টি-স্নি ভিজুয়ালাইজেশনে পয়েন্টগুলি আরও নিকটে উপস্থিত হবে যদি "আরও অনুরূপ" ডেটা-পয়েন্ট হিসাবে ধরে নেওয়া যায়। আমি 25 টি বৈশিষ্ট্য সহ ডেটা ব্যবহার করছি। উদাহরণ …

14 visualization  dimensionality-reduction  tsne  manifold 

মাত্রিকতার বিভিন্ন অভিশাপের কারণে , প্রচলিত ভবিষ্যদ্বাণীমূলক প্রযুক্তির অনেকের যথার্থতা এবং গতি উচ্চ মাত্রিক ডেটাতে অবনমিত হয়। উচ্চ-মাত্রিক ডেটা কার্যকরভাবে মোকাবেলা করতে সহায়তা করে এমন কিছু দরকারী কৌশল / কৌশল / হিউরিস্টিক্স কী কী? উদাহরণ স্বরূপ, নির্দিষ্ট পরিসংখ্যান / মডেলিং পদ্ধতিগুলি উচ্চ-মাত্রিক ডেটাসেটগুলিতে ভাল সম্পাদন করে? আমরা কিছু নির্দিষ্ট (যা …

14 machine-learning  statistics  dimensionality-reduction 

আমি কোনও উপায়ে অটোরকোডার বা নিউরাল নেটওয়ার্কগুলির বিশেষজ্ঞ নই, সুতরাং যদি এটি নির্বোধ প্রশ্ন হয় তবে আমাকে ক্ষমা করুন। হাই ডাইমেনশনাল ডেটাতে মাত্রা হ্রাস বা দৃশ্যমান ক্লাস্টারগুলির উদ্দেশ্যে, আমরা দুটি নোডের সাহায্যে নেটওয়ার্ক স্তরটির আউটপুট পরিদর্শন করে একটি (ক্ষতিগ্রস্ত) 2 মাত্রিক প্রতিনিধিত্ব তৈরি করতে একটি অটোরকোডার ব্যবহার করতে পারি। উদাহরণস্বরূপ, …

13 neural-network  dimensionality-reduction  autoencoder 

হাইতে 1600 টিরও বেশি বিভাগের বৃহত্তর শ্রেণিবদ্ধ মান সহ ডেটাফ্রেম রয়েছে এমন কোনও উপায় আছে যেখানে আমি বিকল্প খুঁজে পেতে পারি যাতে আমার কাছে 1600 কলামের বেশি না থাকে। আমি এটি নীচে আকর্ষণীয় লিঙ্কটি পেয়েছি http://amunategui.github.io/feचर-hashing/#sourcecode তবে তারা শ্রেণি / অবজেক্টে রূপান্তর করছে যা আমি চাই না। আমি ডেটাফ্রেম হিসাবে …

13 machine-learning  dataset  dimensionality-reduction  encoding 

আমার কাছে M 1M সারি এবং ~ 500K স্পার্স বৈশিষ্ট্যযুক্ত একটি ডেটাসেট রয়েছে। আমি 1K-5K ঘন বৈশিষ্ট্যগুলির ক্রম অনুসারে মাত্রাটি কোথাও কমাতে চাই। sklearn.decomposition.PCAবিরল ডেটাতে কাজ করে না, এবং আমি ব্যবহার করার চেষ্টা করেছি sklearn.decomposition.TruncatedSVDতবে খুব দ্রুত একটি স্মৃতি ত্রুটি পেয়েছি । এই স্কেলে দক্ষ মাত্রিকতা হ্রাসের জন্য আমার বিকল্পগুলি …

12 python  scikit-learn  dimensionality-reduction 

আমি একটি অ্যাপ্লিকেশন প্রোটোটাইপ করছি এবং কিছু উত্পন্ন বাক্যগুলিতে বিভ্রান্তি গণনা করতে আমার একটি ভাষা মডেল প্রয়োজন। অজগরটিতে কি আমি সহজেই ব্যবহার করতে পারি এমন কোনও প্রশিক্ষিত ভাষার মডেল রয়েছে? কিছু সাধারণ মত model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

আমার 200 টি ডাটা পয়েন্ট রয়েছে যা সমস্ত বৈশিষ্ট্যে একই মান । টি-এসএনই মাত্রা হ্রাসের পরে তারা আর এত সমান দেখায় না, ঠিক এর মতো: কেন তারা ভিজ্যুয়ালাইজেশনে একই পয়েন্টে নেই এবং এমনকি দুটি পৃথক ক্লাস্টারে বিতরণ বলে মনে হচ্ছে?

9 visualization  dimensionality-reduction  tsne