ইউনিকোডএনকোডেরর: 'ল্যাটিন -১' কোডেক অক্ষরকে এনকোড করতে পারে না


96

আমি যখন ডাটাবেসে কোনও বিদেশী চরিত্র সন্নিবেশ করানোর চেষ্টা করি তখন এই ত্রুটিটি কী ঘটতে পারে?

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

এবং আমি কীভাবে এটি সমাধান করব?

ধন্যবাদ!


40
ডিবি = মাইএসকিউএলডিবি.কনেক্ট (হোস্ট = "লোকালহোস্ট", ব্যবহারকারী = "মূল", পাসডাব্লু = "", ডিবি = "টেস্টডিবি", ব্যবহার_উনিকোড = সত্য, চরসেট = "utf8")
কিংহুন কিম

বাহ, @ কিং হুনকিম আপনি আমার জীবন বাঁচিয়েছেন! যত টুকু যেতে পার !
ফ্লোরিয়ান ডোয়েন

উত্তর:


66

অক্ষর ইউ + 201 সি বাম ডাবল কোটেশন চিহ্নটি ল্যাটিন -1 (আইএসও -8859-1) এনকোডিংয়ে উপস্থিত নেই।

এটা তোলে হয় কোড পৃষ্ঠা 1252 (পশ্চিম ইউরোপের) উপস্থিত রয়েছে। এটি একটি উইন্ডোজ-নির্দিষ্ট এনকোডিং যা আইএসও -8859-1 এর উপর ভিত্তি করে তবে 0x80-0x9F সীমার অতিরিক্ত অক্ষর রাখে। কোড পৃষ্ঠা 1252 প্রায়শই আইএসও -8859-1 এর সাথে বিভ্রান্ত হয় এবং এটি একটি বিরক্তিকর তবে এখন-স্ট্যান্ডার্ড ওয়েব ব্রাউজার আচরণ যে আপনি যদি আপনার পৃষ্ঠাগুলি আইএসও -8859-1 হিসাবে পরিবেশন করেন তবে ব্রাউজারটি তাদের পরিবর্তে সিপি 1252 হিসাবে বিবেচনা করবে। তবে, এগুলি দুটি পৃথক এনকোডিং really

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

আপনি যদি কেবলমাত্র একটি বাইট স্টোর হিসাবে আপনার ডাটাবেস ব্যবহার করেন তবে উইন্ডোজ ওয়েস্টার্ন কোড পৃষ্ঠাতে উপস্থিত এনকোড এবং অন্যান্য অক্ষরগুলির জন্য আপনি সিপি 1252 ব্যবহার করতে পারেন । তবে এখনও অন্যান্য ইউনিকোড অক্ষর সিপি 1252-তে উপস্থিত না থাকায় ত্রুটি ঘটবে।

আপনি encode(..., 'ignore')অক্ষরগুলি থেকে মুক্তি পেয়ে ত্রুটিগুলি দমন করতে ব্যবহার করতে পারেন তবে সত্যই এই শতাব্দীতে আপনার ডাটাবেস এবং আপনার পৃষ্ঠাগুলি উভয়ই ইউটিএফ -8 ব্যবহার করা উচিত। এই এনকোডিংটি কোনও অক্ষর ব্যবহার করার অনুমতি দেয়। আপনার মাইএসকিউএলকেও আদর্শভাবে বলা উচিত যে আপনি ইউটিএফ -8 স্ট্রিং ব্যবহার করছেন (স্ট্রিং কলামগুলিতে ডেটাবেস সংযোগ এবং কোলেশন সেট করে), সুতরাং এটি কেস-সংবেদনশীল তুলনা এবং সঠিকভাবে বাছাই করতে পারে।


4
cp1252আইএসও -8859-1 এর কঠোর সুপারসেট নয় ? অর্থাত্ যখন ব্রাউজারগুলি কোনও আইএসও -8859-1 পৃষ্ঠা পায়, তারা এটিকে রেন্ডার করতে পারে যেমন এটি সিপি 1252 কারণ 0x80-0x9Fকোনওভাবেই রেঞ্জের কোনও অক্ষর থাকবে না ।
এমসাল্টাররা

4
না, ISO-8859-1-এ বাইটস 0x80–0x9F এর আসল অ্যাসাইনমেন্ট রয়েছে যা সিপি 1252 এর সংযোজন দ্বারা ওভাররাইড হয়ে গেছে তাই এটি সুপারসেট নয়। তারা ইউনিকোড অক্ষর U + 0080 – U + 009F এ ঠিক ম্যাপ করে, যা নিয়ন্ত্রণ অক্ষরের একটি নির্বাচন। এগুলি এমন অক্ষরগুলি নিয়ন্ত্রণ করে যা খুব বেশি ব্যবহৃত হয় না যার কারণে ব্রাউজারগুলি এটি থেকে দূরে সরে যায়, তবে আপনি বিরক্তিকর হন যখন আপনি বাইট-অ্যাস-ইউনিকোডের সিকোয়েন্সগুলিকে রূপান্তর করার চেষ্টা করছেন।
ববিনস

আমি কেবলমাত্র একবারই ISO-8859-1 বা UTF-8 হিসাবে এনকোড হওয়া কোনও ফাইলের U + 0080-U + 009F পরিসরে অক্ষরগুলি দেখেছি যার ফলস্বরূপ কিছু ক্লাউন সিঙ্ক 850 এ এনকোড করা হয়েছে এমন কিছু ফাইলের ফলস্বরূপ ঘটেছে এবং তারপরে "ল্যাটিন 1" থেকে ইউটিএফ -8 এ ফলাফলের জগাখিচির ট্রান্সকোডিং করা হচ্ছে। খসড়া এইচটিএমএল 5 স্পর্শটি
জন মাচিন

94

পাইথন মাইএসকিউএলডিবি মডিউলটি ব্যবহার করার সময় আমি এই একই সমস্যার মধ্যে পড়েছিলাম। যেহেতু মাইএসকিউএল অক্ষর সেট নির্বিশেষে কোনও পাঠ্য ক্ষেত্রে আপনি চান এমন কোনও বাইনারি ডেটা সংরক্ষণ করতে দেবে, আমি আমার সমাধানটি এখানে পেয়েছি:

পাইথন মাইএসকিউএলডিবি দিয়ে ইউটিএফ 8 ব্যবহার করা

সম্পাদনা করুন: প্রথম মন্তব্যে অনুরোধটি পূরণ করতে উপরের ইউআরএল থেকে উদ্ধৃতি ...

"ইউনিকোড এনকোড এরির: 'ল্যাটিন -1' কোডেক অক্ষরকে এনকোড করতে পারে না ..."

এটি কারণ মাইএসকিউএলডিবি সাধারণত প্রতিটিটি ল্যাটিন -১ এ এনকোড করার চেষ্টা করে। আপনার সংযোগটি স্থাপনের ঠিক পরে নিম্নলিখিত কমান্ডগুলি প্রয়োগ করে এটি ঠিক করা যেতে পারে:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

"ডিবি" ফল MySQLdb.connect(), এবং "DBC" ফল db.cursor()


4
এটি প্রস্তাবিত যে কোনও লিঙ্কযুক্ত আইটেমের প্রাসঙ্গিক অংশটি উত্তরে সরবরাহ করা হয়েছে। অতিরিক্ত পড়ার জন্য লিঙ্কটি দুর্দান্ত, তবে দয়া করে আপনার
উত্তরটিতে

@ ফ্লুফ এবং এটি ছিল
ক্যাটশোস

4
দুর্দান্ত ধন্যবাদ, আরও 1000 টি চেষ্টা করার পরে মনোযোগের মতো কাজ করেছে।
জুয়ারজেন রিমার

4
কেবল db.set_character_set ('utf8') সমস্যার সমাধান করা উচিত
পান্ডুরং পাতিল

21

সবচেয়ে ভাল সমাধান

  1. MySQL এর অক্ষরটিকে 'utf-8' এ সেট করুন
  2. এই মন্তব্য পছন্দ করুন (যোগ use_unicode=Trueএবং charset="utf8")

    ডিবি = মাইএসকিউএলডিবি.কনেক্ট (হোস্ট = "লোকালহোস্ট", ব্যবহারকারী = "মূল", পাসডাব্লু = "", ডিবি = "টেস্টডিবি", ব্যবহার_উনিকোড = সত্য, চরসেট = "utf8") - কিংহুন কিম মার্চ 13 '14 এ 17:04

বিস্তারিত দেখুন:

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

4
এই উত্তরের আরও উন্নতি প্রয়োজন। এটি একটি পরিষ্কার সমাধান, অপ্রয়োজনীয় এনকোডিং ওভারহেডগুলির অ্যাপ্লিকেশন স্তরটি সাফ করে।
ইয়েস্কে

দুর্দান্ত! আমি ঠিক এটিই সন্ধান করছিলাম
গীক

উপরন্তু, আমরা সেট ভাল চাই utf8mb4মাইএসকিউএল যদি না থাকার emoji, ইত্যাদি পড়ুন কি-is--পার্থক্য-মধ্যে-utf8mb4-এবং-UTF8-ক্যারেক্টার-সেট-ইন-MySQL
চেনি

20

আমি আশা করি আপনার ডাটাবেসটি কমপক্ষে ইউটিএফ -8। তারপরে আপনাকে yourstring.encode('utf-8')এটি ডাটাবেসে রাখার চেষ্টা করার আগে চালানো দরকার ।


3

আপনি কোনও ইউনিকোড কোডপয়েন্টকে \u201cএকটি এনকোডিং ব্যবহার করে সংরক্ষণ করার চেষ্টা করছেন ISO-8859-1 / Latin-1যা সেই কোডপয়েন্টটিকে বর্ণনা করতে পারে না। হয় আপনাকে utf-8 ব্যবহার করার জন্য ডাটাবেস পরিবর্তন করতে হবে এবং উপযুক্ত এনকোডিং ব্যবহার করে স্ট্রিং ডেটা সংরক্ষণ করতে হবে, বা সামগ্রী সংরক্ষণের আগে আপনার ইনপুটগুলি স্যানিটাইজ করতে চাইতে পারে; যেমন স্যাম রুবির দুর্দান্ত আই 18 এন গাইডের মতো কিছু ব্যবহার করা । এটি যে সমস্যাগুলির windows-1252কারণ হতে পারে সে সম্পর্কে আলোচনা করে এবং কীভাবে এটি প্রসেস করা যায় তার পরামর্শ দেয়, সাথে সাথে নমুনা কোডের লিঙ্কগুলি!


2

এসকিউএএলএলচেমি ব্যবহারকারীরা কেবল তাদের ক্ষেত্রটি হিসাবে নির্দিষ্ট করতে পারেন convert_unicode=True

উদাহরণ: sqlalchemy.String(1000, convert_unicode=True)

এসকিউএলএলকেমি কেবল ইউনিকোড অবজেক্ট গ্রহণ করবে এবং এনকোডিং নিজেই পরিচালনা করে এগুলি ফিরিয়ে দেবে।

ডকস


2

ল্যাটিন থেকে ইংরেজিতে রূপান্তর করতে নীচের স্নিপেট ব্যবহার করুন

import unicodedata
def strip_accents(text):
    return "".join(char for char in
                   unicodedata.normalize('NFKD', text)
                   if unicodedata.category(char) != 'Mn')

strip_accents('áéíñóúü')

আউটপুট:

'আইইনউউ'


1

ল্যাটিন -1 (ওরফে আইএসও 8859-1 ) একটি একক অকটেট অক্ষর এনকোডিং স্কিম, এবং আপনি ফিট করতে পারবেন না \u201c( ) বাইটে ।

আপনি কি ইউটিএফ -8 এনকোডিংটি ব্যবহার করবেন?


4
লাতিন -১ নির্দিষ্ট ইউনিকোড অক্ষরগুলিকে এনকোড করে , কেবল এটির মতো নয়। 201 u201c বাইটে ফিট করতে পারে না তাতে কিছু যায় আসে না। উইন্ডোজ-1252 একটি একক অক্টেট এনকোডিং স্কীম এছাড়াও, এবং নেই u201c সহ \।
মার্ক টোলোনেন

cp1253 (ওরফে উইন্ডোজ -১২৩৩) একটি একক অকটেট চরিত্রের এনকোডিং স্কিম এবং তবুও \u0391একটি বাইটে (বিশেষত, ১৯৩৩ বাইট) জরিমানা fits আপনি পারে কটাক্ষপাত করা করতে চান যে ; মানুষ এটি সহায়ক বলে মনে করেছেন।
tzot

ইউনিকোডে ল্যাটিন -1 / সিপি 1253 গ্লিফগুলি 16-বিট কোডপয়েন্ট হিসাবে অন্তর্ভুক্ত করেছে। আমি বিস্মিত হই যে মন্তব্যগুলি এই কথোপকথনের দাবি করছে বলে মনে হচ্ছে।
এমএসডব্লিউ

-3

পাইথন: আপনাকে পাইথন ফাইলের প্রথম লাইনে # - * - কোডিং: ইউটিএফ -8 - * - (চারপাশের স্পেসগুলি অপসারণ) করতে হবে। এবং তারপরে এনকোড করতে পাঠ্যের সাথে নিম্নলিখিতটি যুক্ত করুন: .encode ('ascii', 'xMLcharrefreplace') । এটি সমস্ত ইউনিকোড অক্ষরকে ASCII সমতুল্য করে প্রতিস্থাপন করবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.