আমি এখনও হাদোপের একজন নবাগত শিক্ষার্থী এবং এবার আমি একটি 106 জিবি ফাইল প্রক্রিয়া করার চেষ্টা করছিলাম। আমি -copyFromLocalআমার হ্যাডোপ ডিএফএসে সেই বড় ফাইলটি অনুলিপি করতাম, তবে ফাইলটি বড় হওয়ায় বর্তমান নকলের স্থিতি সম্পর্কে কোনও ক্লু ছাড়াই আমাকে দীর্ঘ সময় অপেক্ষা করতে হবে।
এই কমান্ডের সাথে বর্তমান ফাইলের অনুলিপি করার স্থিতিটি দেখানোর কোনও উপায় আছে কি?
আপনাকে সাহায্যের জন্য অগ্রিম আপনাকে ধন্যবাদ!
উত্তর:
CopyFromLocalফাইল অনুলিপি অগ্রগতি প্রদর্শন করার ক্ষমতা নেই। বিকল্পভাবে, আপনি অন্য শেলটি খুলতে এবং চালাতে পারেন $ watch hadoop fs -ls <filenameyouarecopying>। এটি প্রতি 2.0 সেকেন্ডে একবার ফাইল এবং এর আকার প্রদর্শন করবে।
pvকমান্ড ব্যবহার করে স্থানীয় ফাইলটি পড়ার অগ্রগতি ট্র্যাক করা এবং hdfs dfsস্টিডিনে ফাইলের সামগ্রীটি পাইপ করাও সম্ভব :
pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt
pvএমন একটি অবমূল্যায়িত সরঞ্জাম আইএমও। কাজ নিখুঁতভাবে এখানে।
দেখে মনে হচ্ছে না যে কোনও অনুলিপি কমান্ডের কপিরাইট বিকল্প রয়েছে (copyFromLocal, copyToLocal, get, put)। আপনার সেরা বেটটি সম্ভবত এটির অগ্রগতি অনুমান করার জন্য এইচডিএফএসের গন্তব্যস্থলটির ফাইলের আকারটি অনুসন্ধান করা।