স্বীকৃত উত্তর বড় ফাইলগুলির মেমরির সাথে খাপ খায় না এমন মামলার ক্ষেত্রে কাজ করবে না (যা বিরল ঘটনা নয়)।
যেমনটি অন্যের দ্বারা উল্লেখ করা হয়েছিল, @ শ্রোহেদ উত্তরটি ভাল দেখাচ্ছে তবে এর পরবর্তী সমস্যাগুলি রয়েছে:
- খোলার ফাইলটি অপ্রয়োজনীয় দেখায়, যখন আমরা ফাইল অবজেক্টটি পাস করতে পারি এবং এটি কোন এনকোডিংটি পড়তে হবে তা সিদ্ধান্ত নেওয়ার জন্য এটি ব্যবহারকারীর কাছে রেখে যেতে পারি,
এমনকি যদি আমরা ফাইল অবজেক্টটি স্বীকার করতে রিফ্যাক্টর করি তবে এটি সমস্ত এনকোডিংয়ের জন্য কাজ করে না: আমরা utf-8এনকোডিং এবং অ-এসিআই বিষয়বস্তুগুলির মতো ফাইলটি চয়ন করতে পারি
й
buf_sizeসমান 1এবং পাস হবে
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb9 in position 0: invalid start byte
অবশ্যই পাঠ্য বড় হতে পারে তবে buf_sizeএটি বাছাই করা হতে পারে তাই এটি উপরের মতো অস্পষ্ট ত্রুটির দিকে পরিচালিত করবে,
- আমরা কাস্টম লাইন বিভাজক নির্দিষ্ট করতে পারি না,
- আমরা লাইন বিভাজক রাখতে পছন্দ করতে পারি না।
সুতরাং এই সমস্ত উদ্বেগ বিবেচনা করে আমি পৃথক ফাংশন লিখেছি:
- বাইট স্ট্রিমগুলির সাথে কাজ করে এমন একটি,
- দ্বিতীয়টি যা পাঠ্য স্ট্রিমগুলির সাথে কাজ করে এবং এর অন্তর্নিহিত বাইট স্ট্রিমটি প্রথমটিতে অর্পণ করে এবং ফলাফলগুলি লাইনগুলি ডিকোড করে।
প্রথমে আসুন পরবর্তী ইউটিলিটি ফাংশনগুলি সংজ্ঞায়িত করি:
ceil_divisionসিলিং দিয়ে বিভাগ তৈরি করার জন্য ( //মেঝে সহ স্ট্যান্ডার্ড বিভাগের বিপরীতে আরও তথ্য এই থ্রেডে পাওয়া যাবে )
def ceil_division(left_number, right_number):
"""
Divides given numbers with ceiling.
"""
return -(-left_number // right_number)
split এটিকে রাখার ক্ষমতা সহ ডান প্রান্ত থেকে বিভাজক স্ট্রিংয়ের জন্য:
def split(string, separator, keep_separator):
"""
Splits given string by given separator.
"""
parts = string.split(separator)
if keep_separator:
*parts, last_part = parts
parts = [part + separator for part in parts]
if last_part:
return parts + [last_part]
return parts
read_batch_from_end বাইনারি স্ট্রিমের ডান প্রান্ত থেকে ব্যাচ পড়তে
def read_batch_from_end(byte_stream, size, end_position):
"""
Reads batch from the end of given byte stream.
"""
if end_position > size:
offset = end_position - size
else:
offset = 0
size = end_position
byte_stream.seek(offset)
return byte_stream.read(size)
এরপরে আমরা বিপরীত ক্রমের মতো বাইট স্ট্রিম পড়ার জন্য ফাংশনটি সংজ্ঞায়িত করতে পারি
import functools
import itertools
import os
from operator import methodcaller, sub
def reverse_binary_stream(byte_stream, batch_size=None,
lines_separator=None,
keep_lines_separator=True):
if lines_separator is None:
lines_separator = (b'\r', b'\n', b'\r\n')
lines_splitter = methodcaller(str.splitlines.__name__,
keep_lines_separator)
else:
lines_splitter = functools.partial(split,
separator=lines_separator,
keep_separator=keep_lines_separator)
stream_size = byte_stream.seek(0, os.SEEK_END)
if batch_size is None:
batch_size = stream_size or 1
batches_count = ceil_division(stream_size, batch_size)
remaining_bytes_indicator = itertools.islice(
itertools.accumulate(itertools.chain([stream_size],
itertools.repeat(batch_size)),
sub),
batches_count)
try:
remaining_bytes_count = next(remaining_bytes_indicator)
except StopIteration:
return
def read_batch(position):
result = read_batch_from_end(byte_stream,
size=batch_size,
end_position=position)
while result.startswith(lines_separator):
try:
position = next(remaining_bytes_indicator)
except StopIteration:
break
result = (read_batch_from_end(byte_stream,
size=batch_size,
end_position=position)
+ result)
return result
batch = read_batch(remaining_bytes_count)
segment, *lines = lines_splitter(batch)
yield from reverse(lines)
for remaining_bytes_count in remaining_bytes_indicator:
batch = read_batch(remaining_bytes_count)
lines = lines_splitter(batch)
if batch.endswith(lines_separator):
yield segment
else:
lines[-1] += segment
segment, *lines = lines
yield from reverse(lines)
yield segment
এবং অবশেষে পাঠ্য ফাইলটি বিপরীত করার জন্য একটি ফাংশন এর সংজ্ঞা দেওয়া যেতে পারে:
import codecs
def reverse_file(file, batch_size=None,
lines_separator=None,
keep_lines_separator=True):
encoding = file.encoding
if lines_separator is not None:
lines_separator = lines_separator.encode(encoding)
yield from map(functools.partial(codecs.decode,
encoding=encoding),
reverse_binary_stream(
file.buffer,
batch_size=batch_size,
lines_separator=lines_separator,
keep_lines_separator=keep_lines_separator))
টেস্ট
উদ্যতি
fsutilকমান্ড ব্যবহার করে আমি 4 টি ফাইল তৈরি করেছি :
- খালি.txt কোনও সামগ্রী নেই, আকার 0MB
- 1MB আকারের সাথে tiny.txt
- small.txt 10MB আকারের সাথে
- 50 মেগাবাইটের আকারের বিশাল। টেক্সট
আমি @ পৃষ্ঠার সমাধানের পরিবর্তে ফাইল পাথের পরিবর্তে ফাইল অবজেক্টের সাথে কাজ করতে পারি।
পরীক্ষার স্ক্রিপ্ট
from timeit import Timer
repeats_count = 7
number = 1
create_setup = ('from collections import deque\n'
'from __main__ import reverse_file, reverse_readline\n'
'file = open("{}")').format
srohde_solution = ('with file:\n'
' deque(reverse_readline(file,\n'
' buf_size=8192),'
' maxlen=0)')
azat_ibrakov_solution = ('with file:\n'
' deque(reverse_file(file,\n'
' lines_separator="\\n",\n'
' keep_lines_separator=False,\n'
' batch_size=8192), maxlen=0)')
print('reversing empty file by "srohde"',
min(Timer(srohde_solution,
create_setup('empty.txt')).repeat(repeats_count, number)))
print('reversing empty file by "Azat Ibrakov"',
min(Timer(azat_ibrakov_solution,
create_setup('empty.txt')).repeat(repeats_count, number)))
print('reversing tiny file (1MB) by "srohde"',
min(Timer(srohde_solution,
create_setup('tiny.txt')).repeat(repeats_count, number)))
print('reversing tiny file (1MB) by "Azat Ibrakov"',
min(Timer(azat_ibrakov_solution,
create_setup('tiny.txt')).repeat(repeats_count, number)))
print('reversing small file (10MB) by "srohde"',
min(Timer(srohde_solution,
create_setup('small.txt')).repeat(repeats_count, number)))
print('reversing small file (10MB) by "Azat Ibrakov"',
min(Timer(azat_ibrakov_solution,
create_setup('small.txt')).repeat(repeats_count, number)))
print('reversing large file (50MB) by "srohde"',
min(Timer(srohde_solution,
create_setup('large.txt')).repeat(repeats_count, number)))
print('reversing large file (50MB) by "Azat Ibrakov"',
min(Timer(azat_ibrakov_solution,
create_setup('large.txt')).repeat(repeats_count, number)))
দ্রষ্টব্য : আমি collections.dequeজেনারেটর নিষ্কাশন করতে ক্লাস ব্যবহার করেছি ।
আউটপুট
উইন্ডোজ 10 এ পাইপাই 3.5 এর জন্য:
reversing empty file by "srohde" 8.31e-05
reversing empty file by "Azat Ibrakov" 0.00016090000000000028
reversing tiny file (1MB) by "srohde" 0.160081
reversing tiny file (1MB) by "Azat Ibrakov" 0.09594989999999998
reversing small file (10MB) by "srohde" 8.8891863
reversing small file (10MB) by "Azat Ibrakov" 5.323388100000001
reversing large file (50MB) by "srohde" 186.5338368
reversing large file (50MB) by "Azat Ibrakov" 99.07450229999998
উইন্ডোজ 10 এ সিপিথন 3.5 এর জন্য:
reversing empty file by "srohde" 3.600000000000001e-05
reversing empty file by "Azat Ibrakov" 4.519999999999958e-05
reversing tiny file (1MB) by "srohde" 0.01965560000000001
reversing tiny file (1MB) by "Azat Ibrakov" 0.019207699999999994
reversing small file (10MB) by "srohde" 3.1341862999999996
reversing small file (10MB) by "Azat Ibrakov" 3.0872588000000007
reversing large file (50MB) by "srohde" 82.01206720000002
reversing large file (50MB) by "Azat Ibrakov" 82.16775059999998
সুতরাং আমরা দেখতে পাচ্ছি যে এটি আসল সমাধানের মতো কাজ করে তবে এটি আরও সাধারণ এবং উপরে তালিকাভুক্ত এর অসুবিধাগুলি থেকে মুক্ত।
বিজ্ঞাপন
আমি 0.3.0এটি lzপ্যাকেজের সংস্করণে ( পাইথন 3.5 ++ প্রয়োজন) যুক্ত করেছি যার অনেকগুলি পরীক্ষিত ফাংশনাল / পুনরুক্তি করার সুবিধা রয়েছে।
মত ব্যবহার করা যেতে পারে
import io
from lz.iterating import reverse
...
with open('path/to/file') as file:
for line in reverse(file, batch_size=io.DEFAULT_BUFFER_SIZE):
print(line)
এটি সমস্ত স্ট্যান্ডার্ড এনকোডিংগুলিকে সমর্থন করে (সম্ভবত এটির সাথে এনকোডেবল স্ট্রিং তৈরির কৌশলutf-7 নির্ধারণ করা আমার পক্ষে শক্ত কারণ ব্যতীত )।