প্রশ্ন ট্যাগ «hadoop»

মানচিত্রের শক্তি প্রদর্শনে যে প্রধান উদাহরণ ব্যবহার করা হয় তা হ'ল টেরাসোর্ট বেঞ্চমার্ক । মানচিত্রে পরিবেশে ব্যবহৃত বাছাই করা অ্যালগরিদমের মূল বিষয়গুলি বুঝতে আমার সমস্যা হচ্ছে। আমার কাছে বাছাইয়ের মধ্যে অন্যান্য সমস্ত উপাদানগুলির সাথে সম্পর্কের ক্ষেত্রে কোনও উপাদানের আপেক্ষিক অবস্থান নির্ধারণ করা অন্তর্ভুক্ত। সুতরাং বাছাইয়ের সাথে "সমস্ত কিছু" "" সমস্ত …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

তাদের সমান হওয়ার কথা? তবে, " " কমান্ডগুলি স্থানীয় ফাইলগুলি hadoop fsপ্রদর্শন করার hdfs filesসময় কেন " hdfs dfs" কমান্ডগুলি দেখায়? এখানে হ্যাডোপ সংস্করণ তথ্য রয়েছে: Hadoop 2.0.0-mr1-cd4.2.1 সাবভার্সন গিট: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1- প্যাকেজিং- এমআর 1 / বিল্ড / সিডি 4 / এমআর 1 / 2.0.0 -mr1-cd4.2.1 / উত্স -r jenkins দ্বারা …

109 hadoop  hdfs 

সর্বশেষ হ্যাডোপ -২.২ মুক্তির নামকরণ শুরু করার সময় আমি নিম্নলিখিত ত্রুটিটি পাচ্ছি। হ্যাডোপ বিন ফোল্ডারে আমি উইন্টিলস এক্সি ফাইলটি খুঁজে পাইনি। আমি কমান্ডের নীচে চেষ্টা করেছি $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path …

108 hadoop 

আমি du -shসাধারণ লিনাক্স ফাইল সিস্টেমে জানি । তবে এইচডিএফএস দিয়ে কীভাবে করবেন?

99 hadoop  command-line  directory  hdfs 

বন্ধ এই প্রশ্নটি স্ট্যাক ওভারফ্লো নির্দেশিকাগুলি পূরণ করে না । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্ন আপডেট করুন তাই এটা -বিষয়ে স্ট্যাক ওভারফ্লো জন্য। 4 বছর আগে বন্ধ ছিল । এই প্রশ্নটি উন্নত করুন সুতরাং, আমি গভীর আগ্রহের সাথে হাদুপকে দেখছিলাম , এবং সত্যি …

98 c#  .net  hadoop  mapreduce 

আমি NaiveBayesClassiferএই ত্রুটিটি পেয়ে হ্যাডোপ ব্যবহার করে একটি সাধারণ চালানোর চেষ্টা করছি Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) কোড: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// …

97 java  hadoop  io 

আমি আমার হ্যাডোপ সম্পর্কিত প্রকল্পের জন্য একটি হ্যাডোপ ফাইল ফর্ম্যাট ব্যবহার করার পরিকল্পনা করছি। আমি বুঝতে পারি যে parquet কলাম ভিত্তিক ক্যোয়ারি এবং পূর্ণ স্ক্যানের জন্য অভ্র বা যখন আমাদের সমস্ত কলামের ডেটা প্রয়োজন তখন দক্ষ! আমি এগিয়ে যাওয়ার আগে এবং ফাইল ফর্ম্যাটটির একটি চয়ন করার আগে, আমি বুঝতে চাই …

92 hadoop  avro  parquet 

স্পার্ক এবং হাদোপের মধ্যে কোনও নির্ভরতা রয়েছে ? যদি না হয়, সেখানে যখন আমি রান আমি মিস করব কোন বৈশিষ্ট্য স্পার্ক ছাড়া Hadoop এর ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

কমান্ড প্রম্পট থেকে আমি কোন হাইভ সংস্করণটি ব্যবহার করছি তা কীভাবে খুঁজে পাব। নীচে বিশদ- আমি পুট্টি ব্যবহার করছি টেবিলগুলিতে মধুচক্রের টেবিলের সাথে সংযোগ করতে এবং রেকর্ড অ্যাক্সেস করতে। সুতরাং আমি যা করেছি তা হল - আমি পুট্টি এবং হোস্টের নামটি টাইপ করেছি - leo-ingesting.vip.name.comএবং তারপরে আমি ক্লিক করি Open। …

89 hadoop  hive 

আমি হাইভের সাথে উপলব্ধ স্টোরেজ ফর্ম্যাটগুলিতে কয়েকটি পরীক্ষা চালিয়ে যাচ্ছি এবং পারকুইট এবং ওআরসি প্রধান বিকল্প হিসাবে ব্যবহার করছি। আমি ওআরসি একবার ডিফল্ট সংকোচনের সাথে এবং একবার স্নাপ্পির সাথে অন্তর্ভুক্ত করেছিলাম। আমি অনেকগুলি ডকুমেন্ট পড়েছি যা ওপিসির তুলনায় পার্কিটকে সময় / স্থান জটিলতায় আরও ভাল হতে বলেছে কিন্তু আমার পরীক্ষাগুলি …

88 hadoop  hive  parquet  snappy  orc 

হ্যাডোপ ভি 1 এ, আমি 1 জিবি আকারের সাথে প্রতিটি 7 ম্যাপার এবং রিডুসার স্লট বরাদ্দ করেছি, আমার ম্যাপারগুলি এবং হ্রাসকারীগুলি সূক্ষ্মভাবে চলে। আমার মেশিনে 8 জি মেমরি, 8 টি প্রসেসর রয়েছে। এখন ইয়ার্নের সাথে একই মেশিনে একই অ্যাপ্লিকেশনটি চালানোর সময় আমার ধারক ত্রুটি হয়েছে got ডিফল্টরূপে, আমার এই সেটিংসটি …

85 hadoop  mapreduce  yarn  mrv2 

যেমনটি বর্তমানে দাঁড়িয়ে আছে, এই প্রশ্নটি আমাদের প্রশ্নোত্তর বিন্যাসের জন্য উপযুক্ত নয়। আমরা উত্তরগুলি তথ্য, তথ্যসূত্র বা দক্ষতার দ্বারা সমর্থন করা আশা করি তবে এই প্রশ্নটি সম্ভবত বিতর্ক, যুক্তি, পোলিং বা বর্ধিত আলোচনার জন্য অনুরোধ করবে। আপনি যদি মনে করেন যে এই প্রশ্নটি উন্নত এবং সম্ভবত পুনরায় খোলা যেতে পারে …

84 nosql  hadoop  cassandra  hbase  data-processing