কোনও পাঠ্য ফাইলের লাইনের সংখ্যা দক্ষতার সাথে গণনা করা। (২০০ এমবি +)

Question 1

আমি সবেমাত্র জানতে পেরেছি যে আমার স্ক্রিপ্টটি আমাকে মারাত্মক ত্রুটি দেয়:

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 440 bytes) in C:\process_txt.php on line 109

এই লাইনটি হ'ল:

$lines = count(file($path)) - 1;

সুতরাং আমি মনে করি ফাইলটিকে মেমোরিতে লোড করা এবং লাইনের সংখ্যা গণনা করতে অসুবিধা হচ্ছে, মেমরির সমস্যা না থাকলে আমি আরও কি কার্যকর উপায় করতে পারি?

যে পাঠ্য ফাইলগুলিতে আমার 2MB থেকে 500MB অবধি রেখার সংখ্যা গণনা করা দরকার। কখনও কখনও একটি গিগ হতে পারে।

সকল সাহায্যের জন্য ধন্যবাদ।

Question 2

এটি কম স্মৃতি ব্যবহার করবে, কারণ এটি পুরো ফাইলটিকে মেমরিতে লোড করে না:

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;

fgetsএকটি একক লাইনকে মেমরিতে লোড করে (দ্বিতীয় যুক্তি $lengthবাদ দিলে এটি লাইনের শেষ প্রান্তে পৌঁছানো অবধি স্ট্রিম থেকে পড়া চালিয়ে যাবে, যা আমরা চাই) যদি আপনি প্রাচীরের সময় পাশাপাশি মেমরির ব্যবহারের বিষয়ে চিন্তা করেন তবে এটি পিএইচপি ব্যতীত অন্য কিছু ব্যবহার করার মতো দ্রুত হওয়ার সম্ভাবনা এখনও কম।

এর সাথে একমাত্র বিপদটি হ'ল যদি কোনও লাইন বিশেষত দীর্ঘ হয় (আপনি যদি লাইন ব্রেক ব্যতীত 2 জিবি ফাইলের মুখোমুখি হন?) কোন ক্ষেত্রে আপনি এটিকে খণ্ডে ঝাপটানো এবং লাইন-এর শেষের অক্ষরগুলি গণনা করা ভাল:

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle, 4096);
  $linecount = $linecount + substr_count($line, PHP_EOL);
}

fclose($handle);

echo $linecount;

Question 3

fgets()কলগুলির একটি লুপ ব্যবহার করা সূক্ষ্ম সমাধান এবং লেখার জন্য সবচেয়ে সহজ for

যদিও অভ্যন্তরীণভাবে ফাইলটি 8192 বাইটের বাফার ব্যবহার করে পড়া হয় তবে আপনার কোডটিতে প্রতিটি লাইনের জন্য সেই ফাংশনটি কল করতে হবে।
প্রযুক্তিগতভাবে এটি সম্ভব যে আপনি যদি একটি বাইনারি ফাইল পড়েন তবে একটি মাইল লাইন উপলব্ধ মেমরির চেয়ে বড় হতে পারে।

এই কোডটি প্রতিটি 8kB অংশে একটি ফাইল পড়ে এবং তারপরে সেই অংশের মধ্যে নতুন লাইনের সংখ্যা গণনা করে।

function getLines($file)
{
    $f = fopen($file, 'rb');
    $lines = 0;

    while (!feof($f)) {
        $lines += substr_count(fread($f, 8192), "\n");
    }

    fclose($f);

    return $lines;
}

যদি প্রতিটি লাইনের গড় দৈর্ঘ্য সর্বোচ্চ 4 কেবি হয় তবে আপনি ইতিমধ্যে ফাংশন কলগুলিতে সঞ্চয় শুরু করবেন এবং আপনি বড় ফাইলগুলি প্রক্রিয়া করার সময় এগুলি যুক্ত করতে পারবেন can

মাপকাঠি

আমি 1 জিবি ফাইল দিয়ে একটি পরীক্ষা চালিয়েছি; ফলাফল এখানে:

             +-------------+------------------+---------+
             | This answer | Dominic's answer | wc -l   |
+------------+-------------+------------------+---------+
| Lines      | 3550388     | 3550389          | 3550388 |
+------------+-------------+------------------+---------+
| Runtime    | 1.055       | 4.297            | 0.587   |
+------------+-------------+------------------+---------+

সময়টি সেকেন্ডে রিয়েল টাইমে মাপা হয়, আসল অর্থ কী তা এখানে দেখুন

Question 4

সরল ওরিয়েন্টেড অবজেক্ট সলিউশন

$file = new \SplFileObject('file.extension');

while($file->valid()) $file->fgets();

var_dump($file->key());

হালনাগাদ

এই করতে অন্য উপায় সাথে আছেন PHP_INT_MAXমধ্যে SplFileObject::seekপদ্ধতি।

$file = new \SplFileObject('file.extension', 'r');
$file->seek(PHP_INT_MAX);

echo $file->key() + 1;

Question 5

আপনি যদি একটি লিনাক্স / ইউনিক্স হোস্ট এই চালিয়ে থাকেন, সহজ সমাধান ব্যবহার করতে হবে exec()বা অনুরূপ কমান্ড চালানোর জন্য wc -l $path। শুধু নিশ্চিত করুন যে আপনি sanitized করেছি $path"; RM -rf / / পথ / থেকে / ফাইল" প্রথম নিশ্চিত যে এটা ভালো কিছু নয় যাবে।

Question 6

আমি আরও একটি দ্রুত উপায় পেয়েছি যে পুরো ফাইলটি লুপিং প্রয়োজন হয় না

শুধুমাত্র * নিক্স সিস্টেমে উইন্ডোতেও একই ধরণের উপায় থাকতে পারে ...

$file = '/path/to/your.file';

//Get number of lines
$totalLines = intval(exec("wc -l '$file'"));

Question 7

আপনি যদি পিএইচপি 5.5 ব্যবহার করেন তবে আপনি একটি জেনারেটর ব্যবহার করতে পারেন । এটি 5.5 এর আগে পিএইচপি-র কোনও সংস্করণে কাজ করবে না । পিএইচপি.net থেকে:

"জেনারেটরগুলি আইট্রেটার ইন্টারফেস প্রয়োগ করে এমন শ্রেণি প্রয়োগের ক্ষেত্রে ওভারহেড বা জটিলতা ছাড়াই সহজ পুনরাবৃত্তি কার্যকর করার সহজ উপায় সরবরাহ করে।"

// This function implements a generator to load individual lines of a large file
function getLines($file) {
    $f = fopen($file, 'r');

    // read each line of the file without loading the whole file to memory
    while ($line = fgets($f)) {
        yield $line;
    }
}

// Since generators implement simple iterators, I can quickly count the number
// of lines using the iterator_count() function.
$file = '/path/to/file.txt';
$lineCount = iterator_count(getLines($file)); // the number of lines in the file

Question 8

এটি ওয়ালেস ডি সুজার সমাধানের একটি সংযোজন

এটি গণনা করার সময় খালি লাইনগুলি এড়িয়ে যায়:

function getLines($file)
{
    $file = new \SplFileObject($file, 'r');
    $file->setFlags(SplFileObject::READ_AHEAD | SplFileObject::SKIP_EMPTY | 
SplFileObject::DROP_NEW_LINE);
    $file->seek(PHP_INT_MAX);

    return $file->key() + 1; 
}

Question 9

আপনি যদি লিনাক্সের আওতায় থাকেন তবে আপনি কেবল তা করতে পারেন:

number_of_lines = intval(trim(shell_exec("wc -l ".$file_name." | awk '{print $1}'")));

আপনি যদি অন্য কোনও ওএস ব্যবহার করছেন তবে আপনাকে সঠিক কমান্ডটি সন্ধান করতে হবে

শ্রদ্ধা

Question 10

private static function lineCount($file) {
    $linecount = 0;
    $handle = fopen($file, "r");
    while(!feof($handle)){
        if (fgets($handle) !== false) {
                $linecount++;
        }
    }
    fclose($handle);
    return  $linecount;     
}

আমি উপরের ফাংশনে কিছুটা সংশোধন করতে চাইছিলাম ...

একটি নির্দিষ্ট উদাহরণে যেখানে আমার কাছে 'টেস্টিং' শব্দটি যুক্ত একটি ফাইল ছিল ফলস্বরূপ 2 টি ফাংশন ফিরে আসে returned fgets মিথ্যা প্রমাণিত হয়েছে বা না যদি আমার একটি চেক যোগ করার প্রয়োজন ছিল :)

আনন্দ কর :)

Question 11

ডমিনিক রজারের সমাধানের উপর ভিত্তি করে, আমি এখানে যা ব্যবহার করি তা এখানে রয়েছে (এটি যদি পাওয়া যায় তবে ডাব্লুসিটি ব্যবহার করে, অন্যথায় রজারের দ্রষ্টব্যতে ফলব্যাক)।

class FileTool
{

    public static function getNbLines($file)
    {
        $linecount = 0;

        $m = exec('which wc');
        if ('' !== $m) {
            $cmd = 'wc -l < "' . str_replace('"', '\\"', $file) . '"';
            $n = exec($cmd);
            return (int)$n + 1;
        }


        $handle = fopen($file, "r");
        while (!feof($handle)) {
            $line = fgets($handle);
            $linecount++;
        }
        fclose($handle);
        return $linecount;
    }
}

https://github.com/lingtalfi/Bat/blob/master/FileTool.php

Question 12

লাইন সংখ্যা গণনা নিম্নলিখিত কোড দ্বারা করা যেতে পারে:

<?php
$fp= fopen("myfile.txt", "r");
$count=0;
while($line = fgetss($fp)) // fgetss() is used to get a line from a file ignoring html tags
$count++;
echo "Total number of lines  are ".$count;
fclose($fp);
?>

Question 13

আপনার কাছে বেশ কয়েকটি বিকল্প রয়েছে। প্রথমটি হ'ল অনুমোদিত উপলভ্য মেমরিটি বাড়ানো, যা আপনার ফাইলটি খুব বড় আকারের পেতে পারে বলে উল্লেখ করা জিনিসগুলি করার সম্ভবত সেরা উপায় নয়। অন্য উপায়টি হ'ল লাইন দ্বারা ফাইল লাইনটি পড়তে এবং একটি কাউন্টার বাড়িয়ে দেওয়ার জন্য fgets ব্যবহার করা , যার ফলে কোনও মেমরির সমস্যা হওয়া উচিত নয় কারণ কেবলমাত্র বর্তমান লাইনটি কোনও এক সময়ে মেমরিতে থাকে।

Question 14

আরও একটি উত্তর আছে যা আমি ভেবেছিলাম এই তালিকায় একটি ভাল সংযোজন হতে পারে।

যদি আপনি perlপিএইচপি-তে শেল থেকে জিনিসগুলি ইনস্টল করে থাকেন এবং সক্ষম হন:

$lines = exec('perl -pe \'s/\r\n|\n|\r/\n/g\' ' . escapeshellarg('largetextfile.txt') . ' | wc -l');

এটি ইউনিক্স বা উইন্ডোজ থেকে তৈরি ফাইলগুলি সর্বাধিক লাইন ব্রেকগুলি পরিচালনা করবে।

TWO ডাউনসাইডস (কমপক্ষে):

1) আপনার স্ক্রিপ্টটি সিস্টেমের চলমান উপর এত নির্ভরশীল হওয়া কোনও দুর্দান্ত ধারণা নয় (পার্ল এবং ডাব্লুসিসি উপলব্ধ রয়েছে এটি ধরে নেওয়া নিরাপদ নাও)

2) পালানোর ক্ষেত্রে কেবল একটি ছোট্ট ভুল এবং আপনি আপনার মেশিনে একটি শেলের অ্যাক্সেস হস্তান্তর করেছেন।

কোডিং সম্পর্কে আমি জানি (বা মনে করি আমি জানি) বেশিরভাগ জিনিসগুলির মতোই আমি অন্য কোথাও থেকে এই তথ্যটি পেয়েছি:

জন রিভ নিবন্ধ

Question 15

public function quickAndDirtyLineCounter()
{
    echo "<table>";
    $folders = ['C:\wamp\www\qa\abcfolder\',
    ];
    foreach ($folders as $folder) {
        $files = scandir($folder);
        foreach ($files as $file) {
            if($file == '.' || $file == '..' || !file_exists($folder.'\\'.$file)){
                continue;
            }
                $handle = fopen($folder.'/'.$file, "r");
                $linecount = 0;
                while(!feof($handle)){
                    if(is_bool($handle)){break;}
                    $line = fgets($handle);
                    $linecount++;
                  }
                fclose($handle);
                echo "<tr><td>" . $folder . "</td><td>" . $file . "</td><td>" . $linecount . "</td></tr>";
            }
        }
        echo "</table>";
}

Question 16

কোনও ফাইলের মধ্যে কতগুলি লাইন বিশুদ্ধভাবে গণনা করার জন্য আমি এই পদ্ধতিটি ব্যবহার করি। এই আয়াতগুলি করার অসুবিধাগুলি অন্য উত্তরগুলি। আমার দুটি লাইন সমাধানের বিপরীতে আমি অনেকগুলি লাইন দেখছি। আমি অনুমান করছি যে এরকম কেউ কারণ না করে।

$lines = count(file('your.file'));
echo $lines;

Question 17

সর্বাধিক সংক্ষিপ্ত ক্রস-প্ল্যাটফর্ম সমাধান যা একবারে কেবল একটি লাইন বাফার করে।

$file = new \SplFileObject(__FILE__);
$file->setFlags($file::READ_AHEAD);
$lines = iterator_count($file);

দুর্ভাগ্যক্রমে, আমাদের READ_AHEADপতাকাটি সেট করতে হবে অন্যথায় iterator_countঅনির্দিষ্টকালের জন্য ব্লক। অন্যথায়, এটি ওয়ান-লাইনার হবে।

Question 18

লাইনগুলি কেবল গণনা করার জন্য ব্যবহার করুন:

$handle = fopen("file","r");
static $b = 0;
while($a = fgets($handle)) {
    $b++;
}
echo $b;