আমি একটি অ্যামাজন এক্সএমএল ফাইলটি পড়ছি এবং পার্স করছি এবং এক্সএমএল ফাইলটি 'দেখায়, যখন আমি এটি মুদ্রণের চেষ্টা করি তখন আমি নিম্নলিখিত ত্রুটিটি পাই:
'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) অনলাইনে আমি যা পড়েছি তা থেকে ত্রুটিটি আসছিল যে এক্সএমএল ফাইলটি ইউটিএফ -8 এ রয়েছে, তবে পাইথন এএসসিআইআই এনকোডেড চরিত্র হিসাবে এটি পরিচালনা করতে চায়। ত্রুটিটি দূরে সরে যাওয়ার এবং আমার প্রোগ্রামটি XML পড়ার সাথে সাথে প্রিন্ট করার কোনও সহজ উপায় আছে?
উত্তর:
সম্ভবত আপনার সমস্যাটি হ'ল আপনি এটিকে পার্স করেছেন ঠিক আছে, এবং এখন আপনি এক্সএমএল এর বিষয়বস্তু মুদ্রণের চেষ্টা করছেন এবং কিছু বিদেশী ইউনিকোড অক্ষর থাকার কারণে আপনি পারবেন না। আপনার ইউনিকোড স্ট্রিংটিকে প্রথম ascii হিসাবে এনকোড করার চেষ্টা করুন:
unicodeData.encode('ascii', 'ignore')'উপেক্ষা' অংশটি এটিকে কেবল সেই চরিত্রগুলি এড়িয়ে যেতে বলবে। পাইথন ডক্স থেকে:
>>> u = unichr(40960) + u'abcd' + unichr(1972)
>>> u.encode('utf-8')
'\xea\x80\x80abcd\xde\xb4'
>>> u.encode('ascii')
Traceback (most recent call last):
File "<stdin>", line 1, in ?
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in position 0: ordinal not in range(128)
>>> u.encode('ascii', 'ignore')
'abcd'
>>> u.encode('ascii', 'replace')
'?abcd?'
>>> u.encode('ascii', 'xmlcharrefreplace')
'ꀀabcd޴'আপনি এই নিবন্ধটি পড়তে চাইতে পারেন: http://www.joelonsoftware.com/articles/Unicode.html , যা আমি যা চলছে তার একটি প্রাথমিক টিউটোরিয়াল হিসাবে খুব দরকারী বলে মনে করি। পড়ার পরে, আপনি এমন অনুভূতি থামিয়ে দেবেন যে আপনি কী অনুমান করছেন তা কেবল অনুমান করছেন (বা কমপক্ষে আমার ক্ষেত্রে এটি ঘটেছে)।
.encode('ascii', 'ignore')অপ্রয়োজনীয়ভাবে ডেটা হারায় এমনকি যদি ওপি-র পরিবেশে অ-
একটি ভাল সমাধান:
if type(value) == str:
# Ignore errors even if the string is not proper UTF-8 or has
# broken marker bytes.
# Python built-in function unicode() can do this.
value = unicode(value, "utf-8", errors="ignore")
else:
# Assume the value object has proper __unicode__() method
value = unicode(value)আপনি যদি পড়তে চান তবে কেন:
http://docs.plone.org/manage/troubleshooting/unicode.html#id1
u'\u2019ইতোমধ্যে ইউনিকোড।
আপনার স্ক্রিপ্টের মধ্যে আপনার পরিবেশের অক্ষর এনকোডিংটিকে হার্ডকোড করবেন না; পরিবর্তে ইউনিকোড পাঠ্য সরাসরি মুদ্রণ করুন:
assert isinstance(text, unicode) # or str on Python 3
print(text)যদি আপনার আউটপুট কোনও ফাইলে (বা পাইপ) পুনঃনির্দেশিত হয়; PYTHONIOENCODINGঅক্ষর এনকোডিং নির্দিষ্ট করতে আপনি envvar ব্যবহার করতে পারেন :
$ PYTHONIOENCODING=utf-8 python your_script.py >output.utf8তা না হলে, python your_script.pyযেমন কাজ করা উচিত - আপনার লোকেল সেটিংস টেক্সট এনকোড করতে ব্যবহার করা হয় (POSIX চেক করুন: LC_ALL, LC_CTYPE, LANGenvvars - সেট LANGএকটি UTF-8 লোকেল করার প্রয়োজন হলে)।
চমত্কার পোস্ট: http://www.carlosble.com/2010/12/ বোঝা-pthon-and-unicode /
# -*- coding: utf-8 -*-
def __if_number_get_string(number):
converted_str = number
if isinstance(number, int) or \
isinstance(number, float):
converted_str = str(number)
return converted_str
def get_unicode(strOrUnicode, encoding='utf-8'):
strOrUnicode = __if_number_get_string(strOrUnicode)
if isinstance(strOrUnicode, unicode):
return strOrUnicode
return unicode(strOrUnicode, encoding, errors='ignore')
def get_string(strOrUnicode, encoding='utf-8'):
strOrUnicode = __if_number_get_string(strOrUnicode)
if isinstance(strOrUnicode, unicode):
return strOrUnicode.encode(encoding)
return strOrUnicodeআপনি ফর্মের কিছু ব্যবহার করতে পারেন
s.decode('utf-8')যা কোনও ইউটিএফ -8 এনকোডেড বাইস্টেরিংকে পাইথন ইউনিকোড স্ট্রিংয়ে রূপান্তর করবে। তবে ব্যবহারের সঠিক পদ্ধতিটি নির্ভর করে আপনি কীভাবে এক্সএমএল ফাইল লোড করবেন এবং পার্স করবেন ঠিক তার উপর নির্ভর করে, উদাহরণস্বরূপ যদি আপনি কখনও এক্সএমএল স্ট্রিংটি সরাসরি অ্যাক্সেস না করেন তবে আপনাকে codecsমডিউল থেকে একটি ডিকোডার বস্তু ব্যবহার করতে হতে পারে ।
'...'.encode('utf-8')
উপদ্রবহীন অ্যাস্কি কোটগুলি স্থির করতে এবং ব্যবহারযোগ্য কিছুতে জোর করে রূপান্তর করতে আমি নিম্নলিখিতটি লিখেছিলাম wrote
unicodeToAsciiMap = {u'\u2019':"'", u'\u2018':"`", }
def unicodeToAscii(inStr):
try:
return str(inStr)
except:
pass
outStr = ""
for i in inStr:
try:
outStr = outStr + str(i)
except:
if unicodeToAsciiMap.has_key(i):
outStr = outStr + unicodeToAsciiMap[i]
else:
try:
print "unicodeToAscii: add to map:", i, repr(i), "(encoded as _)"
except:
print "unicodeToAscii: unknown code (encoded as _)", repr(i)
outStr = outStr + "_"
return outStrআপনি যদি সেই অ-মুদ্রণযোগ্য অক্ষর উপেক্ষা না করে পর্দায় স্ট্রিংটির আনুমানিক উপস্থাপনা মুদ্রণ করতে চান তবে দয়া করে unidecodeএখানে প্যাকেজ চেষ্টা করুন:
https://pypi.python.org/pypi/Unidecode
ব্যাখ্যাটি এখানে পাওয়া যায়:
https://www.tablix.org/~avian/blog/archives/2009/01/unicode_transliteration_in_python/
u.encode('ascii', 'ignore')প্রদত্ত স্ট্রিংয়ের জন্য এটি ব্যবহার করার চেয়ে ভাল uএবং চরিত্রের যথাযথতা যদি আপনার পরে না হয় তবে তবুও মানব পাঠযোগ্যতা পেতে চান তবে এটি আপনাকে অপ্রয়োজনীয় মাথা ব্যথা থেকে বাঁচাতে পারে।
Wirawan
পাইথন 3.5, 2018
আপনি যদি না জানেন তবে কী এনকোডিং করছে তবে ইউনিকোড পার্সারে সমস্যা হচ্ছে আপনি ফাইলটি Notepad++এবং উপরের বারে খুলতে পারবেন Encoding->Convert to ANSI। তাহলে আপনি নিজের অজগরটি এভাবে লিখতে পারেন
with open('filepath', 'r', encoding='ANSI') as file:
for word in file.read().split():
print(word)
unicode()?