প্রশ্ন ট্যাগ «hdfs»

আমি স্পার্কে একটি সিএসভি পড়তে এবং এটিকে ডেটাফ্রেমে রূপান্তর করতে এবং এটি দিয়ে এইচডিএফএসে সঞ্চয় করতে চাই df.registerTempTable("table_name") আমি চেষ্টা করেছি: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") আমি যে ত্রুটি পেয়েছি: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

অ্যাপাচি পারকুয়েটের বৈশিষ্ট্যগুলি হ'ল: স্ব-বর্ণনা কলামার ফর্ম্যাট ভাষা স্বাধীন অভ্র, সিকোয়েন্স ফাইলস, আরসি ফাইল ইত্যাদির তুলনায় আমি ফর্ম্যাটগুলির একটি ওভারভিউ চাই। আমি ইতিমধ্যে পড়েছি: ইমডালা হ্যাডোপ ফাইল ফর্ম্যাটগুলির সাথে কীভাবে কাজ করে , এটি ফর্ম্যাটগুলিতে কিছুটা অন্তর্দৃষ্টি দেয় তবে আমি জানাতে চাই যে এই ফর্ম্যাটগুলির প্রতিটিটিতে কীভাবে ডেটা অ্যাক্সেস এবং …

136 file  hadoop  hdfs  avro  parquet 

স্থানীয় ফাইল সিস্টেমে কীভাবে এইচডিএফএস থেকে ফাইল অনুলিপি করবেন। ফাইলের অধীনে কোনও ফাইলের কোনও শারীরিক অবস্থান নেই, এমনকি ডিরেক্টরিও নয়। আমি কীভাবে তাদের আরও বৈধতার জন্য তাদের আমার স্থানীয় স্থানান্তরিত করতে পারি i

135 hadoop  copy  hdfs 

এটি এক ধরণের নিরীহ প্রশ্ন তবে আমি নোএসকিউএল দৃষ্টান্তে নতুন এবং এটি সম্পর্কে খুব বেশি কিছু জানি না। সুতরাং যদি কেউ আমাকে HBase এবং Hadoop এর মধ্যে পরিষ্কারভাবে পার্থক্য বুঝতে বা কিছু পয়েন্টার দেয় যা আমাকে পার্থক্যটি বুঝতে সহায়তা করতে পারে তা পরিষ্কারভাবে বুঝতে সহায়তা করতে পারে। এখন অবধি, আমি …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. এইচডিএফএসে কিছু তৈরি করতে সক্ষম নয় আমি করেছিলাম root# bin/hadoop fs -safemode leave তবে দেখানো হচ্ছে safemode: Unknown command সমস্যাটা কি? সমাধান

122 hadoop  hdfs 

অনুযায়ী Hadoop - The Definitive Guide লজিক্যাল রেকর্ডগুলি যা ফাইলআইনপুট ফর্ম্যাটগুলি সংজ্ঞায়িত করে তা সাধারণত এইচডিএফএস ব্লকগুলিতে ঝরঝরে ফিট করে না। উদাহরণস্বরূপ, একটি টেক্সটইনপুটফর্ম্যাট এর লজিকাল রেকর্ডগুলি লাইন, যা এইচডিএফএসের সীমানা অতিক্রম করবে প্রায়শই বেশি। এটি আপনার প্রোগ্রামের কার্যকারণে কোনও প্রভাব ফেলবে না — লাইনগুলি মিস বা ভাঙা হয়নি, উদাহরণস্বরূপ …

119 hadoop  split  mapreduce  block  hdfs 

মানচিত্র হ্রাস প্রোগ্রামিংয়ে হ্রাস পর্বের উপ-অংশ হিসাবে পরিবর্তন, বাছাই এবং হ্রাস রয়েছে। বাছাই করা ব্যয়বহুল ব্যাপার। মানচিত্র হ্রাস প্রোগ্রামিং-এ রিডুসারে ধাপ পরিবর্তন এবং বাছাইয়ের উদ্দেশ্য কী?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

তাদের সমান হওয়ার কথা? তবে, " " কমান্ডগুলি স্থানীয় ফাইলগুলি hadoop fsপ্রদর্শন করার hdfs filesসময় কেন " hdfs dfs" কমান্ডগুলি দেখায়? এখানে হ্যাডোপ সংস্করণ তথ্য রয়েছে: Hadoop 2.0.0-mr1-cd4.2.1 সাবভার্সন গিট: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1- প্যাকেজিং- এমআর 1 / বিল্ড / সিডি 4 / এমআর 1 / 2.0.0 -mr1-cd4.2.1 / উত্স -r jenkins দ্বারা …

109 hadoop  hdfs 

আমি du -shসাধারণ লিনাক্স ফাইল সিস্টেমে জানি । তবে এইচডিএফএস দিয়ে কীভাবে করবেন?

99 hadoop  command-line  directory  hdfs