সিএসভি রিডারে (পাইথন) "লাইনে ন্যুয়াল বাইট থাকে"

Question 1

আমি এমন একটি প্রোগ্রাম লেখার চেষ্টা করছি যা একটি .CSV ফাইল (ইনপুট.সিএসভি) দেখায় এবং পাঠ্য ফাইলে (আউটপুট.সেক্সট) তালিকাভুক্ত একটি নির্দিষ্ট উপাদান (সংশোধিত। সিএসভি) দিয়ে শুরু হওয়া কেবল সারিগুলিকেই আবার লিখতে থাকে।

এই মুহূর্তে আমার প্রোগ্রামটি দেখতে দেখতে এটি হ'ল:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

দুর্ভাগ্যক্রমে, আমি এই ত্রুটিটি পেতে থাকি, এবং এটি সম্পর্কে আমার কোনও ধারণা নেই।

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

আমাকে এই বিন্দুতে পেতে এখানে এমনকি সমস্ত লোককে কৃতিত্ব ।

Question 2

আমি একটি সহজ সমাধান সঙ্গে একই সমস্যা সমাধান করেছি:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

কীটি ইউটিএফ -16 এনকোডিং সহ ফাইলটি খোলার জন্য কোডেক মডিউলটি ব্যবহার করছিল, অনেকগুলি এনকোডিং রয়েছে, ডকুমেন্টেশন চেক করুন ।

Question 3

আমি অনুমান করছি ইনপুট। সিএসভিতে আপনার একটি NUL বাইট আছে। আপনি এটি দিয়ে পরীক্ষা করতে পারেন

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

যদি তুমি করো,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

আপনাকে প্রায় কাছাকাছি পেতে পারে। অথবা এটি আপনাকে .csv ফাইলে utf16 বা কিছু 'আকর্ষণীয়' বলে ইঙ্গিত দিতে পারে।

Question 4

আপনি যদি নালগুলি কোনও কিছুর সাথে প্রতিস্থাপন করতে চান তবে আপনি এটি করতে পারেন:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Question 5

আপনি যদি কোনও জেনারেটর নাল মানগুলিকে ফিল্টার করতে কেবল ইনলাইন করতে পারেন তবে আপনি যদি না চান যে তাদের উপস্থিতি নেই। অবশ্যই এটি ধরে নিচ্ছে যে নাল বাইটগুলি সত্যই এনকোডিংয়ের অংশ নয় এবং সত্যই এটি একরকম ভ্রান্ত শিল্পকর্ম বা বাগ।

(line.replace('\0','') for line in f)নীচে দেখুন , এছাড়াও আপনি সম্ভবত মোড ব্যবহার করে ফাইল খুলতে চাইবেন rb।

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Question 6

এটি আপনাকে বলবে যে সমস্যাটি কী লাইন।

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

সম্ভবত এই daniweb থেকে সহায়ক হবে:

একটি সিএসভি ফাইল থেকে পড়ার সময় আমি এই ত্রুটিটি পাচ্ছি: "রানটাইম ত্রুটি! লাইনে ন্যুয়াল বাইট রয়েছে"। এই ত্রুটির মূল কারণ সম্পর্কে কোনও ধারণা?

...

ঠিক আছে, আমি এটি পেয়েছি এবং ভেবেছিলাম সমাধানটি পোস্ট করব। কেবলমাত্র আমার দুঃখ ঘটিয়েছে ... ব্যবহৃত ফাইলটি .csv এর পরিবর্তে .xls ফর্ম্যাটে সংরক্ষণ করা হয়েছিল এটি ধরেনি কারণ টাইপটি এখনও .xls থাকাকালীন ফাইলের নামটিতে নিজেই .csv এক্সটেনশন ছিল because

Question 7

একটি কৌশলপূর্ণ উপায়:

আপনি Lunux অধীনে বিকাশ থাকে, তাহলে আপনি সমস্ত শক্তির ব্যবহার করতে পারেন sed :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)

বিশাল ফাইলগুলির জন্য সবচেয়ে কার্যকর সমাধান efficient

পাইথন 3, কুবুন্টু জন্য চেক করা হয়েছে

Question 8

আমি সম্প্রতি এই সমস্যাটি স্থির করেছি এবং আমার দৃষ্টিতে এটি একটি ফাইল যা সংকীর্ণ হয়েছিল যে আমি পড়ার চেষ্টা করছিলাম। প্রথমে ফাইল ফর্ম্যাটটি পরীক্ষা করে দেখুন। তারপরে পরীক্ষা করে দেখুন যে সামগ্রীগুলি কী কী এক্সটেনশনকে বোঝায়।

Question 9

আমার লিনাক্স পরিবেশটিকে একটি সম্পূর্ণ সম্পূর্ণ ইউটিএফ -8 পরিবেশে পরিণত করা আমার পক্ষে কৌশলটি তৈরি করেছিল। আপনার কমান্ড লাইনে নিম্নলিখিতটি চেষ্টা করুন:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Question 10

এটি দীর্ঘস্থায়ী, তবে আমি এই উত্তরটি পেরিয়ে গিয়েছি কারণ কেরাস এবং টেনসরফ্লোতে প্রশিক্ষণের ডেটা হিসাবে প্রক্রিয়া করার জন্য একটি সিএসভি পড়ার সময় আমি একটি অপ্রত্যাশিত ত্রুটি অনুভব করছিলাম।

আমার ক্ষেত্রে, বিষয়টি অনেক সহজ ছিল এবং এটি সম্পর্কে সচেতন হওয়া মূল্যবান। সিএসভিতে উত্পাদিত হওয়া ডেটা সামঞ্জস্যপূর্ণ ছিল না, ফলস্বরূপ কিছু কলাম পুরোপুরি অনুপস্থিত, যা মনে হয় এই ত্রুটিটিও ছুঁড়েছে।

পাঠ: আপনি যদি এই ত্রুটিটি দেখে থাকেন তবে যাচাই করুন যে আপনার ডেটা আপনার মনে হয় যেভাবে এটি করে!

Question 11

এটা খুব সহজ।

"নতুন এক্সেল তৈরি করুন" বা উইন্ডো থেকে ".csv" হিসাবে সংরক্ষণ করে কোনও সিএসভি ফাইল তৈরি করবেন না।

কেবল সিএসভি মডিউল আমদানি করুন, একটি ডামি সিএসভি ফাইল লিখুন এবং তারপরে আপনার ডেটা আটকে দিন।

পাইথন সিএসভি মডিউল নিজেই তৈরি সিএসভি আপনাকে আর এনকোডিং বা ফাঁকা লাইন ত্রুটি দেখাবে না।

Question 12

pandas.read_csv পড়া / লেখার সময় এখন বিভিন্ন ইউটিএফ এনকোডিং পরিচালনা করে এবং তাই নাল বাইটগুলি সরাসরি ডিল করতে পারে

data = pd.read_csv(file, encoding='utf-16')

দেখতে https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html