প্রশ্ন ট্যাগ «hadoop»

আমি বর্তমানে চলমান একটি সার্ভারে Hadoop কনফিগার করছি CentOS । যখন আমি চালাচ্ছি start-dfs.shবা stop-dfs.sh, আমি নিম্নলিখিত ত্রুটিটি পাই: সতর্কতা ব্যবহার.নিটিভ কোডলোডার: আপনার প্ল্যাটফর্মের জন্য নেটিভ-হ্যাডোপ লাইব্রেরি লোড করতে অক্ষম ... বিল্টিন-জাভা ক্লাস ব্যবহার করে যেখানে প্রযোজ্য আমি হ্যাডোপ ২.২.০ চালাচ্ছি । অনলাইনে অনুসন্ধান করা এই লিঙ্কটি নিয়ে এসেছে: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html …

269 java  linux  hadoop  hadoop2  java.library.path 

বন্ধ । এই প্রশ্নটি মতামত ভিত্তিক । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্নটি আপডেট করুন যাতে পোস্টটি সম্পাদনা করে সত্য এবং উদ্ধৃতি দিয়ে উত্তর দেওয়া যায় । 4 বছর আগে বন্ধ ছিল । এই প্রশ্নটি উন্নত করুন আমার পটভূমি - হাদোপ বিশ্বে 4 সপ্তাহ …

256 hadoop  hive  apache-pig 

আমি ইয়ার্নে স্পার্ক কাজ চালানোর সময় করের সংখ্যা এবং নির্বাহকের সংখ্যার সম্পর্ক বোঝার চেষ্টা করছি। পরীক্ষার পরিবেশটি নিম্নরূপ: ডেটা নোডের সংখ্যা: 3 ডেটা নোড মেশিন বিশেষ: সিপিইউ: কোর আই -4--47৯০ (করের #: 4, # থ্রেডের মধ্যে: 8) র‌্যাম: 32 জিবি (8 জিবি এক্স 4) এইচডিডি: 8 টিবি (2 টিবি এক্স …

193 hadoop  apache-spark  yarn 

যেকোন একটি ব্যবহার করে সুবিধা কি কি Hadoop এর বা HBase বা মধুচক্র ? আমার উপলব্ধি থেকে, এইচবিজ মানচিত্র-হ্রাস ব্যবহার করা এড়িয়ে চলে এবং এইচডিএফএসের শীর্ষে একটি কলাম ওরিয়েন্টেড স্টোরেজ রয়েছে। মধুচক্র একটি SQL- মতো ইন্টারফেস Hadoop এর এবং HBase । আমি আরও জানতে চাই যে কীভাবে হাইভ পিগের সাথে …

185 hadoop  hbase  hive  apache-pig 

আমি এডাব্লুএস ইসি 2 গাইড ব্যবহার করে স্পার্ক ইনস্টল করেছি bin/pysparkএবং স্পার্ক প্রম্পটে পৌঁছানোর জন্য স্ক্রিপ্টটি ব্যবহার করে আমি প্রোগ্রামটি সূক্ষ্মভাবে চালু করতে পারি এবং দ্রুত শুরু কুইড সফলভাবে করতে পারি। তবে, INFOপ্রতিটি কমান্ডের পরে কীভাবে সমস্ত ভার্বোজ লগিং বন্ধ করা যায় তা আমি আমার জীবনের জন্য অনুধাবন করতে পারি …

144 python  scala  apache-spark  hadoop  pyspark 

আমি স্পার্কে একটি সিএসভি পড়তে এবং এটিকে ডেটাফ্রেমে রূপান্তর করতে এবং এটি দিয়ে এইচডিএফএসে সঞ্চয় করতে চাই df.registerTempTable("table_name") আমি চেষ্টা করেছি: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") আমি যে ত্রুটি পেয়েছি: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

অ্যাপাচি পারকুয়েটের বৈশিষ্ট্যগুলি হ'ল: স্ব-বর্ণনা কলামার ফর্ম্যাট ভাষা স্বাধীন অভ্র, সিকোয়েন্স ফাইলস, আরসি ফাইল ইত্যাদির তুলনায় আমি ফর্ম্যাটগুলির একটি ওভারভিউ চাই। আমি ইতিমধ্যে পড়েছি: ইমডালা হ্যাডোপ ফাইল ফর্ম্যাটগুলির সাথে কীভাবে কাজ করে , এটি ফর্ম্যাটগুলিতে কিছুটা অন্তর্দৃষ্টি দেয় তবে আমি জানাতে চাই যে এই ফর্ম্যাটগুলির প্রতিটিটিতে কীভাবে ডেটা অ্যাক্সেস এবং …

136 file  hadoop  hdfs  avro  parquet 

স্থানীয় ফাইল সিস্টেমে কীভাবে এইচডিএফএস থেকে ফাইল অনুলিপি করবেন। ফাইলের অধীনে কোনও ফাইলের কোনও শারীরিক অবস্থান নেই, এমনকি ডিরেক্টরিও নয়। আমি কীভাবে তাদের আরও বৈধতার জন্য তাদের আমার স্থানীয় স্থানান্তরিত করতে পারি i

135 hadoop  copy  hdfs 

এটি এক ধরণের নিরীহ প্রশ্ন তবে আমি নোএসকিউএল দৃষ্টান্তে নতুন এবং এটি সম্পর্কে খুব বেশি কিছু জানি না। সুতরাং যদি কেউ আমাকে HBase এবং Hadoop এর মধ্যে পরিষ্কারভাবে পার্থক্য বুঝতে বা কিছু পয়েন্টার দেয় যা আমাকে পার্থক্যটি বুঝতে সহায়তা করতে পারে তা পরিষ্কারভাবে বুঝতে সহায়তা করতে পারে। এখন অবধি, আমি …

130 hadoop  nosql  hbase  hdfs  difference 

আমি জানি যে উভয়ই টেবিলের একটি কলামে সঞ্চালিত হয় তবে প্রতিটি ক্রিয়াকলাপ কীভাবে আলাদা।

129 hadoop  hive 

অনেক বাস্তব-জীবনে আপনি যেখানে ম্যাপ্রেডস প্রয়োগ করেন সেখানে চূড়ান্ত অ্যালগরিদমগুলি বেশ কয়েকটি মানচিত্রের পদক্ষেপ হিসাবে শেষ হয়। যেমন ম্যাপ 1, হ্রাস 1, মানচিত্র 2, হ্রাস 2 এবং আরও অনেক কিছু। সুতরাং আপনার সর্বশেষ হ্রাস থেকে আউটপুট রয়েছে যা পরবর্তী মানচিত্রের ইনপুট হিসাবে প্রয়োজন। মধ্যবর্তী ডেটা হ'ল এমন কিছু যা আপনি …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. এইচডিএফএসে কিছু তৈরি করতে সক্ষম নয় আমি করেছিলাম root# bin/hadoop fs -safemode leave তবে দেখানো হচ্ছে safemode: Unknown command সমস্যাটা কি? সমাধান

122 hadoop  hdfs 

অনুযায়ী Hadoop - The Definitive Guide লজিক্যাল রেকর্ডগুলি যা ফাইলআইনপুট ফর্ম্যাটগুলি সংজ্ঞায়িত করে তা সাধারণত এইচডিএফএস ব্লকগুলিতে ঝরঝরে ফিট করে না। উদাহরণস্বরূপ, একটি টেক্সটইনপুটফর্ম্যাট এর লজিকাল রেকর্ডগুলি লাইন, যা এইচডিএফএসের সীমানা অতিক্রম করবে প্রায়শই বেশি। এটি আপনার প্রোগ্রামের কার্যকারণে কোনও প্রভাব ফেলবে না — লাইনগুলি মিস বা ভাঙা হয়নি, উদাহরণস্বরূপ …

119 hadoop  split  mapreduce  block  hdfs 

মানচিত্র হ্রাস প্রোগ্রামিংয়ে হ্রাস পর্বের উপ-অংশ হিসাবে পরিবর্তন, বাছাই এবং হ্রাস রয়েছে। বাছাই করা ব্যয়বহুল ব্যাপার। মানচিত্র হ্রাস প্রোগ্রামিং-এ রিডুসারে ধাপ পরিবর্তন এবং বাছাইয়ের উদ্দেশ্য কী?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

যে কেউ আমায় হাইভের বাহ্যিক সারণী এবং অভ্যন্তরীণ সারণীর মধ্যে পার্থক্য বলতে পারে। আমি জানি টেবিলটি নামানোর সময় পার্থক্য আসে। আপনার ডেটা বলতে কী বোঝায় তা বুঝতে পারছি না এবং মেটাডেটা অভ্যন্তরীণভাবে মুছে ফেলা হবে এবং কেবল মেটাডেটা বাহ্যিক সারণীতে মুছে ফেলা হবে। দয়া করে নোডের ক্ষেত্রে কেউ আমাকে ব্যাখ্যা …

110 hadoop  hive  hiveql