আমি যখন ডাটাবেসে কোনও বিদেশী চরিত্র সন্নিবেশ করানোর চেষ্টা করি তখন এই ত্রুটিটি কী ঘটতে পারে?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
এবং আমি কীভাবে এটি সমাধান করব?
ধন্যবাদ!
আমি যখন ডাটাবেসে কোনও বিদেশী চরিত্র সন্নিবেশ করানোর চেষ্টা করি তখন এই ত্রুটিটি কী ঘটতে পারে?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
এবং আমি কীভাবে এটি সমাধান করব?
ধন্যবাদ!
উত্তর:
অক্ষর ইউ + 201 সি বাম ডাবল কোটেশন চিহ্নটি ল্যাটিন -1 (আইএসও -8859-1) এনকোডিংয়ে উপস্থিত নেই।
এটা তোলে হয় কোড পৃষ্ঠা 1252 (পশ্চিম ইউরোপের) উপস্থিত রয়েছে। এটি একটি উইন্ডোজ-নির্দিষ্ট এনকোডিং যা আইএসও -8859-1 এর উপর ভিত্তি করে তবে 0x80-0x9F সীমার অতিরিক্ত অক্ষর রাখে। কোড পৃষ্ঠা 1252 প্রায়শই আইএসও -8859-1 এর সাথে বিভ্রান্ত হয় এবং এটি একটি বিরক্তিকর তবে এখন-স্ট্যান্ডার্ড ওয়েব ব্রাউজার আচরণ যে আপনি যদি আপনার পৃষ্ঠাগুলি আইএসও -8859-1 হিসাবে পরিবেশন করেন তবে ব্রাউজারটি তাদের পরিবর্তে সিপি 1252 হিসাবে বিবেচনা করবে। তবে, এগুলি দুটি পৃথক এনকোডিং really
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'
আপনি যদি কেবলমাত্র একটি বাইট স্টোর হিসাবে আপনার ডাটাবেস ব্যবহার “করেন তবে উইন্ডোজ ওয়েস্টার্ন কোড পৃষ্ঠাতে উপস্থিত এনকোড এবং অন্যান্য অক্ষরগুলির জন্য আপনি সিপি 1252 ব্যবহার করতে পারেন । তবে এখনও অন্যান্য ইউনিকোড অক্ষর সিপি 1252-তে উপস্থিত না থাকায় ত্রুটি ঘটবে।
আপনি encode(..., 'ignore')অক্ষরগুলি থেকে মুক্তি পেয়ে ত্রুটিগুলি দমন করতে ব্যবহার করতে পারেন তবে সত্যই এই শতাব্দীতে আপনার ডাটাবেস এবং আপনার পৃষ্ঠাগুলি উভয়ই ইউটিএফ -8 ব্যবহার করা উচিত। এই এনকোডিংটি কোনও অক্ষর ব্যবহার করার অনুমতি দেয়। আপনার মাইএসকিউএলকেও আদর্শভাবে বলা উচিত যে আপনি ইউটিএফ -8 স্ট্রিং ব্যবহার করছেন (স্ট্রিং কলামগুলিতে ডেটাবেস সংযোগ এবং কোলেশন সেট করে), সুতরাং এটি কেস-সংবেদনশীল তুলনা এবং সঠিকভাবে বাছাই করতে পারে।
cp1252আইএসও -8859-1 এর কঠোর সুপারসেট নয় ? অর্থাত্ যখন ব্রাউজারগুলি কোনও আইএসও -8859-1 পৃষ্ঠা পায়, তারা এটিকে রেন্ডার করতে পারে যেমন এটি সিপি 1252 কারণ 0x80-0x9Fকোনওভাবেই রেঞ্জের কোনও অক্ষর থাকবে না ।
পাইথন মাইএসকিউএলডিবি মডিউলটি ব্যবহার করার সময় আমি এই একই সমস্যার মধ্যে পড়েছিলাম। যেহেতু মাইএসকিউএল অক্ষর সেট নির্বিশেষে কোনও পাঠ্য ক্ষেত্রে আপনি চান এমন কোনও বাইনারি ডেটা সংরক্ষণ করতে দেবে, আমি আমার সমাধানটি এখানে পেয়েছি:
পাইথন মাইএসকিউএলডিবি দিয়ে ইউটিএফ 8 ব্যবহার করা
সম্পাদনা করুন: প্রথম মন্তব্যে অনুরোধটি পূরণ করতে উপরের ইউআরএল থেকে উদ্ধৃতি ...
"ইউনিকোড এনকোড এরির: 'ল্যাটিন -1' কোডেক অক্ষরকে এনকোড করতে পারে না ..."
এটি কারণ মাইএসকিউএলডিবি সাধারণত প্রতিটিটি ল্যাটিন -১ এ এনকোড করার চেষ্টা করে। আপনার সংযোগটি স্থাপনের ঠিক পরে নিম্নলিখিত কমান্ডগুলি প্রয়োগ করে এটি ঠিক করা যেতে পারে:
db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')
"ডিবি" ফল
MySQLdb.connect(), এবং "DBC" ফলdb.cursor()।
সবচেয়ে ভাল সমাধান
এই মন্তব্য পছন্দ করুন (যোগ use_unicode=Trueএবং charset="utf8")
ডিবি = মাইএসকিউএলডিবি.কনেক্ট (হোস্ট = "লোকালহোস্ট", ব্যবহারকারী = "মূল", পাসডাব্লু = "", ডিবি = "টেস্টডিবি", ব্যবহার_উনিকোড = সত্য, চরসেট = "utf8") - কিংহুন কিম মার্চ 13 '14 এ 17:04
বিস্তারিত দেখুন:
class Connection(_mysql.connection):
"""MySQL Database Connection Object"""
default_cursor = cursors.Cursor
def __init__(self, *args, **kwargs):
"""
Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.
host
string, host to connect
user
string, user to connect as
passwd
string, password to use
db
string, database to use
port
integer, TCP/IP port to connect to
unix_socket
string, location of unix_socket to use
conv
conversion dictionary, see MySQLdb.converters
connect_timeout
number of seconds to wait before the connection attempt
fails.
compress
if set, compression is enabled
named_pipe
if set, a named pipe is used to connect (Windows only)
init_command
command which is run once the connection is created
read_default_file
file from which default client values are read
read_default_group
configuration group to use from the default file
cursorclass
class object, used to create cursors (keyword only)
use_unicode
If True, text-like columns are returned as unicode objects
using the connection's character set. Otherwise, text-like
columns are returned as strings. columns are returned as
normal strings. Unicode objects will always be encoded to
the connection's character set regardless of this setting.
charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.
sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.
client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)
ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()). If this is set, and the client does not
support SSL, NotSupportedError will be raised.
local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables
autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.
There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.
"""
utf8mb4মাইএসকিউএল যদি না থাকার emoji, ইত্যাদি পড়ুন কি-is--পার্থক্য-মধ্যে-utf8mb4-এবং-UTF8-ক্যারেক্টার-সেট-ইন-MySQL
আপনি কোনও ইউনিকোড কোডপয়েন্টকে \u201cএকটি এনকোডিং ব্যবহার করে সংরক্ষণ করার চেষ্টা করছেন ISO-8859-1 / Latin-1যা সেই কোডপয়েন্টটিকে বর্ণনা করতে পারে না। হয় আপনাকে utf-8 ব্যবহার করার জন্য ডাটাবেস পরিবর্তন করতে হবে এবং উপযুক্ত এনকোডিং ব্যবহার করে স্ট্রিং ডেটা সংরক্ষণ করতে হবে, বা সামগ্রী সংরক্ষণের আগে আপনার ইনপুটগুলি স্যানিটাইজ করতে চাইতে পারে; যেমন স্যাম রুবির দুর্দান্ত আই 18 এন গাইডের মতো কিছু ব্যবহার করা । এটি যে সমস্যাগুলির windows-1252কারণ হতে পারে সে সম্পর্কে আলোচনা করে এবং কীভাবে এটি প্রসেস করা যায় তার পরামর্শ দেয়, সাথে সাথে নমুনা কোডের লিঙ্কগুলি!
ল্যাটিন থেকে ইংরেজিতে রূপান্তর করতে নীচের স্নিপেট ব্যবহার করুন
import unicodedata
def strip_accents(text):
return "".join(char for char in
unicodedata.normalize('NFKD', text)
if unicodedata.category(char) != 'Mn')
strip_accents('áéíñóúü')
আউটপুট:
'আইইনউউ'
ল্যাটিন -1 (ওরফে আইএসও 8859-1 ) একটি একক অকটেট অক্ষর এনকোডিং স্কিম, এবং আপনি ফিট করতে পারবেন না \u201c(“ ) বাইটে ।
আপনি কি ইউটিএফ -8 এনকোডিংটি ব্যবহার করবেন?