প্রশ্ন ট্যাগ «split»

সম্পর্কিত, তবে কোনও সন্তোষজনক উত্তর নেই: আমি কীভাবে একটি বৃহত পাঠ্য ফাইলটি 500 শব্দের বাছুর মধ্যে ভাগ করতে পারি? আমি > 10 ^ 7 শব্দের সাথে একটি লাইনে একটি পাঠ্য ফাইল ( http://mattmahoney.net/dc/text8.zip ) নেওয়ার চেষ্টা করছি এবং প্রতিটি এন শব্দ দিয়ে রেখায় বিভক্ত করছি। আমার বর্তমান পদ্ধতির কাজ করে …

11 text-processing  sed  awk  split 

আমার একটি ডিরেক্টরি ট্রি রয়েছে যা আমি অপটিকাল ডিস্কগুলিতে ব্যাক আপ করতে চাই। দুর্ভাগ্যক্রমে, এটি কোনও একটি ডিস্কের আকার ছাড়িয়েছে (এটি প্রায় 60 গিগাবাইট)। আমি এমন একটি স্ক্রিপ্ট খুঁজছি যা এই গাছটিকে যথাযথ আকারের ভাগগুলিতে শক্ত লিঙ্কগুলি বা হোয়াট নোটে ভাগ করে দেবে (মূলটি ছোঁয়া ছাড়বে)। আমি তখন এই কামড়ের …

11 backup  disk-usage  split  burning 

আমার কাছে তিন ধরণের ডেটা রয়েছে যা বিভিন্ন ফর্ম্যাটে রয়েছে; প্রতিটি ডেটা টাইপের জন্য একটি পাইথন স্ক্রিপ্ট রয়েছে যা এটিকে একক ইউনিফাইড বিন্যাসে রূপান্তর করে। এই পাইথন স্ক্রিপ্টটি ধীর এবং সিপিইউ-আবদ্ধ (একাধিক-কোর মেশিনে একক কোর), সুতরাং আমি এটির তিনটি দৃষ্টান্ত চালাতে চাই - প্রতিটি তথ্য টাইপের জন্য একটি - এবং …

10 text-processing  pipe  split  parallelism 

আমার কাছে একটি বড় (~ 60G) সংক্ষেপিত ফাইল ( tar.gz) ছিল। আমি splitএটিকে 4 টি ভাগে বিভক্ত করতাম এবং তারপরে catআবার তাদের সাথে যোগ দিতে। যাইহোক, এখন আমি যখন সঙ্কুচিত ফাইলটির আকারটি অনুমান করার চেষ্টা করছি, তখন দেখা যাচ্ছে যে এটি মূলের চেয়ে ছোট? এটা কিভাবে সম্ভব? $ gzip -l …

9 compression  gzip  split 

আমার কাছে একটি বড় পাঠ্য ফাইল রয়েছে (যখন gz'ed হয় তখন ~ 50Gb)। ফাইলটিতে 4*Nলাইন বা Nরেকর্ড রয়েছে ; যে প্রতিটি রেকর্ড 4 লাইন নিয়ে গঠিত। আমি এই ফাইলটি প্রতিটি আকারের ইনপুট ফাইলের প্রায় 25% আকারে 4 টি ছোট ফাইলে বিভক্ত করতে চাই। আমি কীভাবে ফাইলটি রেকর্ড সীমানায় বিভক্ত করতে …

9 text-processing  sed  awk  split  wc 

আমি একটি পোস্টগ্র্যাসকিএল ডেটাবেজে একটি দুর্দান্ত দৈত্য ফাইল লোড করছি। এটি করার জন্য আমি প্রথমে splitফাইলটিতে ছোট ফাইল (প্রতিটি 30 জিবি) পাওয়ার জন্য ব্যবহার করি এবং তারপরে এবং প্রতিটি ব্যবহার করে ছোট ছোট ফাইলটি ডাটাবেসে লোড করি GNU Parallelএবং psql copy। সমস্যাটি হ'ল এটি ফাইলটি বিভক্ত করতে প্রায় 7 ঘন্টা …

9 files  split  gnu-parallel