প্রকল্পের জন্য hadoop কোন ফাইল সিস্টেম নেই: ফাইল

97

আমি NaiveBayesClassiferএই ত্রুটিটি পেয়ে হ্যাডোপ ব্যবহার করে একটি সাধারণ চালানোর চেষ্টা করছি

Exception in thread "main" java.io.IOException: No FileSystem for scheme: file
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
    at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100)

কোড: 

    Configuration configuration = new Configuration();
    NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in this line..

modelPathNaiveBayes.binফাইলের দিকে নির্দেশ করছে এবং কনফিগারেশন অবজেক্টটি মুদ্রণ করছে -Configuration: core-default.xml, core-site.xml

আমি মনে করি এর কারণ, কোন ধারণা?

java  hadoop  io 
— মহেন্দ্র সিং
সূত্র
আরও কিছু তথ্য প্রয়োজন ...
— তারিক
4
নিজেকে জানুন না, তবে গুগলে একটি তাত্ক্ষণিকভাবে নজর দেওয়া থেকে বোঝা যায় যে জারগুলির চারপাশে কিছু সমস্যা রয়েছে যা আপনার পরামর্শ অনুসারে উল্লেখ করা হচ্ছে না। সম্ভবত নিম্নলিখিত লিঙ্কগুলি একটি উত্তর দিতে হবে। গ্রুপ.google.com/a/cloudera.org/forum/#!topic/scm-users/… grokbase.com/t/cloudera/cd-user/134r64jm5t/…
— এমিল
আমি ক্লাসের পথে হ্যাডোপ-কমন-২.০.০-সিডিএইচ sources.৩.০- উত্স.জার এবং হ্যাডোপ-কোর-০.২০.২.জার যুক্ত করছিলাম, আমি প্রথমে সরিয়েছি এবং এটি কেন কাজ করে তা জানেন না।
— মহেন্দ্র সিং
4
হুম..আপনি আমাকে আপনার পরিবেশ সম্পর্কে বলবেন? এছাড়াও, দয়া করে আমাকে সম্পূর্ণ ব্যতিক্রম বার্তাটি দেখান।
— তারিক
মডেলপথের মূল্য কী? আপনি চেষ্টা করেছেনfile:///path/to/dir
— ক্রিস হোয়াইট

উত্তর:

177

এটি maven-assemblyপ্লাগিন ব্রেকিং জিনিসগুলির একটি সাধারণ ঘটনা case

আমাদের সাথে কেন এমন হয়েছিল

বিভিন্ন জার ( hadoop-commonsজন্য LocalFileSystem, এর hadoop-hdfsজন্য DistributedFileSystem) প্রত্যেকটিতে org.apache.hadoop.fs.FileSystemতাদের META-INFO/servicesডিরেক্টরিতে ডাকা একটি আলাদা ফাইল থাকে । এই ফাইলটি তারা যে ফাইল সিস্টেমের প্রয়োগকরণের ঘোষণা করতে চায় তার ক্যানোনিকাল ক্লাসের নামগুলি তালিকাভুক্ত করে (এটাকে একটি পরিষেবা সরবরাহকারী ইন্টারফেস বলা হয় java.util.ServiceLoader, দেখুন এর মাধ্যমে প্রয়োগ করা হয় org.apache.hadoop.FileSystem#loadFileSystems)।

যখন আমরা ব্যবহার করি maven-assembly-plugin, এটি আমাদের সমস্ত জারগুলিকে একটিতে মিশে যায় এবং সমস্ত META-INFO/services/org.apache.hadoop.fs.FileSystemএকে অপরকে ওভাররাইট করে। এই ফাইলগুলির মধ্যে কেবল একটিই রয়ে গেছে (সর্বশেষ যেটি যুক্ত হয়েছিল)। এই ক্ষেত্রে FileSystemতালিকা থেকে তালিকাটি hadoop-commonsওভাররাইট করে hadoop-hdfs, সুতরাং DistributedFileSystemআর ঘোষণা করা হয়নি।

আমরা কীভাবে এটি স্থির করেছি

হাদোপ কনফিগারেশন লোড করার পরে, তবে কিছু- FileSystemসম্পর্কিত সম্পর্কিত কিছু করার আগে , আমরা এটিকে কল করি:

    hadoopConfig.set("fs.hdfs.impl", 
        org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()
    );
    hadoopConfig.set("fs.file.impl",
        org.apache.hadoop.fs.LocalFileSystem.class.getName()
    );

আপডেট: সঠিক ফিক্স

এটি আমার নজরে আনা হয়েছে krookedkingযে maven-assemblyসমস্ত FileSystemপরিষেবা ঘোষণার মার্জড সংস্করণটি ব্যবহারের জন্য একটি কনফিগারেশন-ভিত্তিক উপায় রয়েছে , নীচে তার উত্তরটি দেখুন।

— ডেভিড_পি
সূত্র
13
স্পার্কে একই জিনিসটি করার জন্য এখানে সমপরিমাণ কোডটি প্রয়োজন: val hadoopConfig: Configuration = spark.hadoopConfiguration hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName) hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)
— ফিলিপ ও
8
প্রকৃতপক্ষে, আমি এই খাঁটি নির্ভরতা http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.2.0কেবল মেভেন এবং সমস্যার সমাধানের সাথে যুক্ত করেছি।
— বিএমআরডাব্লু।
6
আমি হ্যাডোপ-এইচডিএফএস, হ্যাডোপ-কোর, হ্যাডোপ-কমন, হ্যাডোপ-ক্লায়েন্ট যুক্ত করার চেষ্টা করেছি, অসলো হ্যাডোপকনফিগ.সেট ("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributesFileSystem.class.getName () যুক্ত করার চেষ্টা করেছি ); hadoopConfig.set ("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName ()); তবে কাজ হচ্ছে না, যখন গ্রহণ থেকে চালাচ্ছিল এটি ঠিকঠাক চলছে তবে জাভা-সিপি কমান্ড থেকে চালানোর সময় এটি ত্রুটির উপরে দেখায়
— হরিশ পাঠক
4
হরিশ, আপনি কি দেখেছেন? এখানে কিন্তু ইন্টিলিজের সাথে একই সমস্যা
— থম্মিএইচ
চমত্কার উত্তরের মাত্র একটি সংযোজন: যদি কেউ হ্যাডোপ জেআরএস ব্যবহার করে তবে একটি নন-হ্যাডোপ ক্লাস্টারে কাজ চালিয়ে যায়, "" "hadoopConfig.set (" fs.hdfs.impl ..... "" "" না কাজ.এর ক্ষেত্রে আমরা সংসদ বিল্ডিং পরিচালনার পিছনে পড়ে যাব eg যেমন এসবিটিতে আমরা কনট বা এমনকি ফিল্টারডিসিন্ট লাইনের একটি সংহতকরণ করতে পারি
— মানব
62

ডেভিড_প এর পরামর্শ অনুসরণ করে শেড প্লাগইন ব্যবহারকারীদের জন্য, আপনি প্লাগইন কনফিগারেশনে পরিষেবাদি রিসোর্সট্রান্সফর্মার যুক্ত করে ছায়াযুক্ত জারে পরিষেবাগুলি মার্জ করতে পারেন:

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>2.3</version>
    <executions>
      <execution>
        <phase>package</phase>
        <goals>
          <goal>shade</goal>
        </goals>
        <configuration>
          <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          </transformers>
        </configuration>
      </execution>
    </executions>
  </plugin>

এটি সমস্ত org.apache.hadoop.fs.FileSystem পরিষেবাদি এক ফাইলে একীভূত করবে

— ক্রুকডকিং
সূত্র
4
আমি এই সমাধানটি সবচেয়ে পছন্দ করি। তথ্যের পরে কনফিগার পরিবর্তনের সাথে এটি প্যাচ না করে উত্স (বিল্ড) এ সমস্যার সমাধান করুন।
— কেভিন পাওলি
4
দুর্দান্ত উত্তর। আমার অনুরূপ ত্রুটি স্থির করে। মাভেন-এসেম্বলি-প্লাগইন পাশাপাশি মাভেন-জার-প্লাগইন / মাভেন-ডিপেন্ডেন্সি-প্লাগইন সংমিশ্রনের চেষ্টা করা হলেও কাজ হয়নি work এই সমাধানটি আমার স্পার্ক অ্যাপটিকে কাজ করে তোলে। অনেক ধন্যবাদ!
— সোমনাথচক্রবর্তী
দুর্দান্ত উত্তর! অনেক ধন্যবাদ!
— andrea.lagala
এটি গ্রহণযোগ্য উত্তর হিসাবে চিহ্নিত করা উচিত। যখন পরিষেবাগুলি রিসোর্সট্রান্সফর্মার প্রয়োজন হয় যখন জার ফাইলগুলি মাইটা-আইএনএফ / পরিষেবা ডিরেক্টরি ব্যবহার করে প্রয়োগের ক্ষেত্রে ম্যাপ ইন্টারফেস করে files আরও তথ্য এখানে পাওয়া যাবে: maven.apache.org/plugins/maven-shade-plugin/example/…
— মারিও
দুর্দান্ত উত্তর।
— নিরঞ্জন সুব্রমনিয়ান
9

রেকর্ডের জন্য, এটি হ্যাডোপ ২.৪.০ এ এখনও চলছে। খুবই হতাশাজনক...

আমি এই লিঙ্কে নির্দেশাবলী অনুসরণ করতে সক্ষম হয়েছিল: http://grokbase.com/t/cloudera/scm-users/1288xszz7r/no-filesystem-for-scheme-hdfs

আমি আমার কোর-সাইট.xml এ নিম্নলিখিতগুলি যুক্ত করেছি এবং এটি কাজ করেছে:

<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>
— আছাইয়া
সূত্র
8

ধন্যবাদ ডেভিড_পি, স্কালা 

conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName);
conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName);

বা

<property>
 <name>fs.hdfs.impl</name>
 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>
— অ্যান্ডি
সূত্র
4
শুধু পরে আমি পড়তে আমি বুঝতে পারি যে করেনি সার্ভার : এখান Hadoop এর কনফিগারেশন ছিল brucebcampbell.wordpress.com/2014/12/11/...
— সাল
8

এটি স্পার্ক ২.০.২ এর সাথে বের করার জন্য আমাকে যুগ যুগ ধরে নিয়েছে, তবে এখানে আমার বিট:

val sparkBuilder = SparkSession.builder
.appName("app_name")
.master("local")
// Various Params
.getOrCreate()

val hadoopConfig: Configuration = sparkBuilder.sparkContext.hadoopConfiguration

hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)

hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

এবং আমার সম্পর্কিত অংশ build.sbt:

scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

আমি আশা করি এটি সাহায্য করতে পারে!

— মাউরো আরনলদি
সূত্র
5

ধরে নিই যে আপনি এমডিএন এবং হুডুপের ক্লোডের বিতরণ করছেন। আমি সিডিএইচ .6. using ব্যবহার করছি এবং এই নির্ভরতাগুলি আমার জন্য কাজ করেছে worked আমি মনে করি আপনার হ্যাডোপ এবং এমভিএন নির্ভরতাগুলির সংস্করণগুলি পরীক্ষা করা উচিত।

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

ক্লৌডের এমভিএন সংগ্রহস্থল যুক্ত করতে ভুলবেন না।

<repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
— হাসনু
সূত্র
4

আমি আমার প্রকল্পটি প্যাকেজ করতে sbt সমাবেশ ব্যবহার করি। আমিও এই সমস্যাটি পূরণ করি। আমার সমাধান এখানে। পদক্ষেপ 1: আপনার বিল্ড.এসবিটিতে মেটা-আইএনএফ সংশ্লেষ যুক্ত করুন

case PathList("META-INF", "MANIFEST.MF") => MergeStrategy.discard
case PathList("META-INF", ps @ _*) => MergeStrategy.first

পদক্ষেপ 2: বিল্ড.এসবিটিতে hadoop-hdfs lib যুক্ত করুন

"org.apache.hadoop" % "hadoop-hdfs" % "2.4.0"

স্টিপি 3: এসবিটি ক্লিন; এসবিটি সমাবেশ

আশা করি উপরের তথ্যগুলি আপনাকে সহায়তা করতে পারে।

— হাইমেই
সূত্র
16
এর চেয়ে ভাল সমাধান হতে পারে যেমন মার্জ করা: case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLinesএটি সমস্ত রেজিস্টার্ড ফাইল
— সিস্টেমকে
ধন্যবাদ @ আরভউজডেলা, বেশ ঝরঝরে সমাধান। তুমি আমার চুল বাঁচিয়েছ হারিয়ে যাওয়া প্রাণীরা অ্যাপাচি স্পার্কের জন্য এই উত্তরটি আবিষ্কার করে। এসবিটি-এসেম্বলির সঠিকভাবে কাজ করার সময় এটি বিল্ড.এসবিটিতে যুক্ত করুন।
— লোভী কোডার
@ আরভওয়জডিলা প্রদত্ত সমাধানটি কেবল আমার পক্ষে কাজ করেছে।
— সের্গে কোভালেভ
4
@ আরভওয়জডিলা প্রদত্ত সমাধানটি আদর্শ। আমি বিল্ড.এসবিটিতে অনুরূপ সেটআপ করেছি এবং ব্যবহার করেছি: assembly `assembly সমাবেশে সমাবেশ মর্জ স্ট্রেটজি: = {কেস প্যাথলিস্ট (" মেটা-আইএনএফ "," ম্যানিফস্ট.এমএফ ") => মার্জস্ট্র্যাটজি.ডিসকার্ড কেস প্যাথলিস্ট (" মেটা-আইএনএফ ", "পরিষেবাদি", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.concat কেস _ => MergeStrategy.first human `` `
— মানব
2

আমি ধরে নিলাম আপনি ম্যাভেন ব্যবহার করে নমুনা তৈরি করেছেন।

আপনি যে জেআর চালানোর চেষ্টা করছেন তা দয়া করে পরীক্ষা করুন। বিশেষত META-INFO/servicesডিরেক্টরি, ফাইল org.apache.hadoop.fs.FileSystem। ফিলিস্টেম বাস্তবায়ন ক্লাসগুলির তালিকা থাকা উচিত। org.apache.hadoop.hdfs.DistributedFileSystemএইচডিএফএস এবং org.apache.hadoop.fs.LocalFileSystemস্থানীয় ফাইল স্কিমের জন্য তালিকায় চেক লাইন উপস্থিত রয়েছে ।

যদি এটি হয় তবে বিল্ড করার সময় আপনাকে রেফারেন্স করা সংস্থানটি ওভাররাইড করতে হবে।

অন্যান্য সম্ভাবনা হ'ল hadoop-hdfs.jarআপনার ক্লাসপথে কেবল নেই তবে এটির সম্ভাবনা কম। সাধারণত আপনার যদি সঠিক hadoop-clientনির্ভরতা থাকে তবে এটি কোনও বিকল্প নয়।

— রোমান নিকচেনকো
সূত্র
এইচআই রোমান .. আমার একই সমস্যা আছে এবং মেটা-আইএনএফও / পরিষেবাগুলি / org.apache.hadoop.fs.FileS সিস্টেমে এইচডিএফএস লাইন নেই I আমার একমাত্র নির্ভরতা হিসাবে 2.0.0-mr1-cd4.4.0 আছে। আমাকে কি করতে হবে? এ সম্পর্কে কোন দলিল? মাভেন নির্মাণে ব্যবহার করে
— শেঠি
2

আর একটি সম্ভাব্য কারণ (যদিও ওপিএস প্রশ্ন নিজেই এ থেকে ভোগেনা) হ'ল যদি আপনি এমন একটি কনফিগারেশন উদাহরণ তৈরি করেন যা ডিফল্টগুলি লোড করে না:

Configuration config = new Configuration(false);

আপনি যদি ডিফল্ট লোড না করেন তবে FileSystemএইচডিএফএস অ্যাক্সেস করার চেষ্টা করার সময় আপনি বাস্তবায়নের মতো জিনিসগুলির জন্য ডিফল্ট সেটিংস পাবেন না which trueলোড ডিফল্টগুলিতে পাস করার প্যারামিটারলেস কনস্ট্রাক্টরে স্যুইচ করা এটিকে সমাধান করতে পারে।

অতিরিক্তভাবে যদি আপনি Configurationবস্তুর সাথে কাস্টম কনফিগারেশন অবস্থানগুলি (উদাহরণস্বরূপ ফাইল সিস্টেমে) যুক্ত করে থাকেন তবে আপনার কোন ওভারলোডটি addResource()ব্যবহার করছেন সে সম্পর্কে সতর্ক হন । উদাহরণস্বরূপ আপনি যদি ব্যবহার করেন addResource(String)তবে হ্যাডোপ ধরে নিলেন যে স্ট্রিংটি একটি শ্রেণি পথের উত্স, যদি আপনার একটি স্থানীয় ফাইল নির্দিষ্ট করার দরকার হয় তবে নিম্নলিখিতটি চেষ্টা করুন:

File configFile = new File("example/config.xml");
config.addResource(new Path("file://" + configFile.getAbsolutePath()));
— রবভি
সূত্র
1

আমার নতুনত্বের কারণে প্রদত্ত জবাবগুলি থেকে ফিক্স বের করতে আমার কিছুটা সময় লেগেছিল। প্রথম থেকেই যদি অন্য কারও সাহায্যের প্রয়োজন হয় তবে এটিই আমি নিয়ে এসেছি:

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object MyObject {
  def main(args: Array[String]): Unit = {

    val mySparkConf = new SparkConf().setAppName("SparkApp").setMaster("local[*]").set("spark.executor.memory","5g");
    val sc = new SparkContext(mySparkConf)

    val conf = sc.hadoopConfiguration

    conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

আমি স্পার্ক ২.১ ব্যবহার করছি

এবং আমার এই অংশ আছে build.sbt

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}
— আকাওয়াল
সূত্র
1 
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://nameNode:9000");
FileSystem fs = FileSystem.get(conf);

সেট fs.defaultFS আমার জন্য কাজ করে! হডোপ -২.৮.১

— আসরান দেং
সূত্র
1

এসবিটি-র জন্য বিল্ড.এসবিটিতে মার্জস্ট্র্যাটজির নীচে ব্যবহার করুন

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) => {
    case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLines
    case s => old(s)
  }
}
— আসাদ রাজা
সূত্র
0

এই প্লাগইন ব্যবহার করুন

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.5</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>

                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <shadedClassifierName>allinone</shadedClassifierName>
                            <artifactSet>
                                <includes>
                                    <include>*:*</include>
                                </includes>
                            </artifactSet>
                            <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                </transformer>
                                <transformer 
                                implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
— হরিশ পাঠক
সূত্র
0

আপনি যদি এসবিটি ব্যবহার করেন :

//hadoop
lazy val HADOOP_VERSION = "2.8.0"

lazy val dependenceList = Seq(

//hadoop
//The order is important: "hadoop-hdfs" and then "hadoop-common"
"org.apache.hadoop" % "hadoop-hdfs" % HADOOP_VERSION

,"org.apache.hadoop" % "hadoop-common" % HADOOP_VERSION
)
— পেলুও
সূত্র
0

আমিও একই সমস্যার মুখোমুখি হয়েছি। আমি দুটি সমাধান পেয়েছি: (1) জার ফাইলটি ম্যানুয়ালি সম্পাদনা করা:

উইনআর (বা অনুরূপ সরঞ্জাম) দিয়ে জার ফাইলটি খুলুন। মেটা-ইনফো> পরিষেবাগুলিতে যান এবং সংযুক্ত করে "org.apache.hadoop.fs.FileSystem" সম্পাদনা করুন:

org.apache.hadoop.fs.LocalFileSystem

(২) আমার নির্ভরতার ক্রমটি অনুসরণ হিসাবে পরিবর্তন করা

<dependencies>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.1</version>
</dependency>



</dependencies>
— মোহাম্মদ-আলী
সূত্র
0

এটি ফ্লিংকের সাথে সম্পর্কিত নয় তবে আমি এই সমস্যাটি ফ্লিংকেও খুঁজে পেয়েছি।

ফ্লিংক ব্যবহার করা লোকেদের জন্য আপনাকে প্রি- বান্ডিলযুক্ত হাদুপ ডাউনলোড করে এটিকে ভিতরে রাখতে হবে /opt/flink/lib।

— ডেভিড ম্যাগালহেস
সূত্র
-1

আমিও একই বিষয় জুড়ে এসেছি। কনফারেন্স (অবজেক্ট) এর সংস্থান হিসাবে কোর-সাইট.xML এবং hdfs-site.xML যুক্ত করা হয়েছে

Configuration conf = new Configuration(true);    
conf.addResource(new Path("<path to>/core-site.xml"));
conf.addResource(new Path("<path to>/hdfs-site.xml"));

Pom.xML এ সংস্করণ সংঘাতগুলি সম্পাদনা করেছে। (উদাহরণস্বরূপ, যদি হ্যাডুপের কনফিগার করা সংস্করণটি ২.৮.১ হয় তবে পম.এক্সএমএল ফাইলে নির্ভরতাগুলির সংস্করণ ২.7.১ থাকে, তবে এটি পরিবর্তন করে ২.৮.১ করুন) আবার মাভেন ইনস্টল চালান।

আমার জন্য এই সমাধান করা ত্রুটি।

— রক্ষিত সোলঙ্কি
সূত্র
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.