আমাদের কাছে একটি বৃহত কাঁচা ডেটা ফাইল রয়েছে যা আমরা একটি নির্দিষ্ট আকারে ট্রিম করতে চাই। আমি। নেট সি # তে অভিজ্ঞ, তবে জিনিসগুলি সহজলভ্য করতে এবং আগ্রহের বাইরে অজগরটিতে এটি করতে চাই।
পাইথনটিতে আমি কোনও টেক্সট ফাইলের প্রথম এন লাইন পেতে কীভাবে যাব? ওএস ব্যবহার হচ্ছে কি বাস্তবায়নে কোন প্রভাব ফেলবে?
উত্তর:
পাইথন 2
with open("datafile") as myfile:
head = [next(myfile) for x in xrange(N)]
print head
পাইথন ঘ
with open("datafile") as myfile:
head = [next(myfile) for x in range(N)]
print(head)
এখানে আরও একটি উপায় রয়েছে (পাইথন 2 এবং 3 উভয়ই)
from itertools import islice
with open("datafile") as myfile:
head = list(islice(myfile, N))
print head
N = 10
with open("file.txt", "a") as file: # the a opens it in append mode
for i in range(N):
line = next(file).strip()
print(line)f = open("file")ব্যতিক্রম ছাড়াই ফাইলটি বন্ধ করে দেখি তখনই আমি ক্রিঙ্ক করি । ফাইলগুলি হ্যান্ডেল করার পাইথোনিক উপায়টি একটি প্রসঙ্গ পরিচালক সহ, অর্থাত্ স্টেটমেন্ট সহ ব্যবহার করে। এটি ইনপুট আউটপুট পাইথন টিউটোরিয়ালে আচ্ছাদিত । "It is good practice to use the with keyword when dealing with file objects. This has the advantage that the file is properly closed after its suite finishes, even if an exception is raised on the way."
আপনি যদি প্রথম লাইনগুলি দ্রুত পড়তে চান এবং আপনি পারফরম্যান্সের বিষয়ে চিন্তা করেন না তবে আপনি .readlines()কোনটি রিটার্ন তালিকার অবজেক্টটি ব্যবহার করতে পারেন এবং তারপরে তালিকাটি কেটে ফেলতে পারেন।
প্রথম 5 লাইনের জন্য উদাহরণস্বরূপ:
with open("pathofmyfileandfileandname") as myfile:
firstNlines=myfile.readlines()[0:5] #put here the interval you wantদ্রষ্টব্য: পুরো ফাইলটি পড়ে তাই পারফরম্যান্সের দিক থেকে সেরা নয় তবে এটি ব্যবহার করা সহজ, দ্রুত লেখা এবং সহজে মনে রাখা সহজ তাই যদি আপনি কিছু ওয়ান-টাইম গণনা সম্পাদন করতে চান তবে খুব সুবিধাজনক is
print firstNlinesএকটি সুবিধা অন্য উত্তর তুলনায় সম্ভাবনা সহজে প্রথম 10 লাইন কুঁদন লাইন যেমন পরিসীমা নির্বাচন করা হয় [10:30]বা স্থায়ী হয় 10 [:-10]বা শুধুমাত্র এমনকি লাইন গ্রহণ [::2]।
আমি যা করি তা হ'ল এন লাইনগুলি কল করে pandas। আমি মনে করি পারফরম্যান্স সেরা নয়, তবে উদাহরণস্বরূপ N=1000:
import pandas as pd
yourfile = pd.read('path/to/your/file.csv',nrows=1000)nrowsবিকল্পটি ব্যবহার করা আরও ভাল হবে যা 1000 এ সেট করা যেতে পারে এবং পুরো ফাইলটি লোড হয়নি। pandas.pydata.org/pandas-docs/stable/generated/… সাধারণত, পান্ডাদের কাছে এই বড় ফাইলগুলির জন্য এবং অন্যান্য মেমরির সংরক্ষণের কৌশল রয়েছে।
sepএকটি কলাম ডিলিমিটার সংজ্ঞায়িত করতেও যোগ করতে পারেন (যা কোনও নন-
pandas.read()নথিতে ফাংশনটি খুঁজে পাচ্ছি না , আপনি কি এই বিষয়ে কোনও তথ্য জানেন?
ফাইল অবজেক্টের দ্বারা প্রকাশিত লাইনের সংখ্যা পড়ার জন্য কোনও নির্দিষ্ট পদ্ধতি নেই।
আমি অনুমান করি যে সবচেয়ে সহজ উপায়টি অনুসরণ করা হবে:
lines =[]
with open(file_name) as f:
lines.extend(f.readline() for i in xrange(N))গিনিবলারের শীর্ষে ভোট দেওয়া উত্তরের উপর ভিত্তি করে (নভেম্বর 20 '09 at 0: 27): এই শ্রেণিটি অবজেক্ট ফাইল করার জন্য মাথা () এবং লেজ () পদ্ধতি যুক্ত করে।
class File(file):
def head(self, lines_2find=1):
self.seek(0) #Rewind file
return [self.next() for x in xrange(lines_2find)]
def tail(self, lines_2find=1):
self.seek(0, 2) #go to end of file
bytes_in_file = self.tell()
lines_found, total_bytes_scanned = 0, 0
while (lines_2find+1 > lines_found and
bytes_in_file > total_bytes_scanned):
byte_block = min(1024, bytes_in_file-total_bytes_scanned)
self.seek(-(byte_block+total_bytes_scanned), 2)
total_bytes_scanned += byte_block
lines_found += self.read(1024).count('\n')
self.seek(-total_bytes_scanned, 2)
line_list = list(self.readlines())
return line_list[-lines_2find:]ব্যবহার:
f = File('path/to/file', 'r')
f.head(3)
f.tail(3)এটি করার দুটি অত্যন্ত স্বজ্ঞাত উপায় হ'ল:
লাইন-বাই-লাইনে এবং লাইনের breakপরে ফাইলটিতে আইট্রেট করুন N।
next()পদ্ধতির Nসময়গুলি ব্যবহার করে লাইন-বাই-লাইন ফাইলটিতে আইট্রেট করুন । (শীর্ষস্থানীয় উত্তরটি যা করে তার জন্য এটি মূলত একটি আলাদা বাক্য গঠন))
কোডটি এখানে:
# Method 1:
with open("fileName", "r") as f:
counter = 0
for line in f:
print line
counter += 1
if counter == N: break
# Method 2:
with open("fileName", "r") as f:
for i in xrange(N):
line = f.next()
print lineনীচের লাইনটি যতক্ষণ না আপনি যতক্ষণ না পুরো ফাইলটিকে স্মৃতিতে ব্যবহার করেন না readlines()বা না ব্যবহার enumerateকরেন, আপনার কাছে প্রচুর বিকল্প রয়েছে।
আমার নিজের পক্ষে সবচেয়ে বিশ্বাসযোগ্য উপায়:
LINE_COUNT = 3
print [s for (i, s) in enumerate(open('test.txt')) if i < LINE_COUNT]তালিকা বোঝার ভিত্তিতে সমাধান ফাংশনটি খোলার () একটি পুনরাবৃত্তি ইন্টারফেস সমর্থন করে। গণনা () উন্মুক্ত () এবং রিটার্ন টিউপসগুলি (সূচক, আইটেম) কভার করে, তারপরে আমরা পরীক্ষা করে দেখি যে আমরা কোনও স্বীকৃত পরিসরের মধ্যে রয়েছি (যদি আমি <LINE_COUNT) এবং তারপরে কেবল ফলাফল মুদ্রণ করা।
পাইথন উপভোগ করুন। ;)
[next(file) for _ in range(LINE_COUNT)]।
আপনি যদি এমন কিছু চান যা স্পষ্টতই (ম্যানুয়ালগুলিতে রহস্যজনক জিনিসগুলি অনুসন্ধান না করে) আমদানি ছাড়াই কাজ করে এবং চেষ্টা করে / বাদে এবং পাইথন ২.x সংস্করণগুলির (2.2 থেকে 2.6) ন্যায্য পরিসরে কাজ করে:
def headn(file_name, n):
"""Like *x head -N command"""
result = []
nlines = 0
assert n >= 1
for line in open(file_name):
result.append(line)
nlines += 1
if nlines >= n:
break
return result
if __name__ == "__main__":
import sys
rval = headn(sys.argv[1], int(sys.argv[2]))
print rval
print len(rval)আপনার যদি সত্যিই বড় ফাইল থাকে এবং ধরে নিচ্ছেন যে আপনি আউটপুটটি একটি আঙ্কুল অ্যারে হিসাবে চান, np.genfromtxt ব্যবহার করা আপনার কম্পিউটারকে হিমশীতল করবে। এটি আমার অভিজ্ঞতায় আরও ভাল:
def load_big_file(fname,maxrows):
'''only works for well-formed text file of space-separated doubles'''
rows = [] # unknown number of lines, so use list
with open(fname) as f:
j=0
for line in f:
if j==maxrows:
break
else:
line = [float(s) for s in line.split()]
rows.append(np.array(line, dtype = np.double))
j+=1
return np.vstack(rows) # convert list of vectors to arrayপাইথন ২.6 থেকে শুরু করে, আপনি আইও বেস ক্লসে আরও পরিশীলিত ফাংশনগুলির সুবিধা নিতে পারেন। সুতরাং উপরের উপরে রেট করা উত্তরগুলি এ হিসাবে আবারও লেখা যেতে পারে:
with open("datafile") as myfile:
head = myfile.readlines(N)
print head(আপনার স্টপ ইন্টেরেশন ব্যতিক্রম নষ্ট না হওয়ায় আপনার ফাইলটি এন লাইনের চেয়ে কম থাকবে বলে চিন্তা করার দরকার নেই don't)
linesকিন্তু যুক্তি উল্লেখ করে bytes।
এটি পাইথন 2 এবং 3 এর জন্য কাজ করে:
from itertools import islice
with open('/tmp/filename.txt') as inf:
for line in islice(inf, N, N+M):
print(line)
fname = input("Enter file name: ")
num_lines = 0
with open(fname, 'r') as f: #lines count
for line in f:
num_lines += 1
num_lines_input = int (input("Enter line numbers: "))
if num_lines_input <= num_lines:
f = open(fname, "r")
for x in range(num_lines_input):
a = f.readline()
print(a)
else:
f = open(fname, "r")
for x in range(num_lines_input):
a = f.readline()
print(a)
print("Don't have", num_lines_input, " lines print as much as you can")
print("Total lines in the text",num_lines)
#!/usr/bin/python
import subprocess
p = subprocess.Popen(["tail", "-n 3", "passlist"], stdout=subprocess.PIPE)
output, err = p.communicate()
print outputএই পদ্ধতিটি আমার জন্য কাজ করেছিল