ইউনিকোড অক্ষর থেকে ডায়াক্রিটিকাল চিহ্নগুলি (ń ǹ ň ñ ṅ ṅ ņ ṇ ṋ ṋ ṉ ṉ ɲ ƞ ᶇ ɳ ȵ) সরান

Question 1

আমি একটি অ্যালগরিদম দেখছি যা ডায়াক্রিটিক্স ( টিলডে , সারফ্লেক্স , ক্যারেট , উমলাউট , ক্যারন ) এবং তাদের "সরল" চরিত্রের মধ্যে অক্ষরগুলির মধ্যে মানচিত্র তৈরি করতে পারে ।

উদাহরণ স্বরূপ:

ń  ǹ  ň  ñ  ṅ  ņ  ṇ  ṋ  ṉ  ̈  ɲ  ƞ ᶇ ɳ ȵ  --> n
á --> a
ä --> a
ấ --> a
ṏ --> o

ইত্যাদি

আমি জাভাতে এটি করতে চাই, যদিও আমি সন্দেহ করি এটি কোনও ইউনিকোড-ওয়াই হওয়া উচিত এবং যেকোন ভাষায় যুক্তিযুক্তভাবে সহজেই করণীয় হওয়া উচিত।
উদ্দেশ্য: ডায়াক্রিটিকাল চিহ্ন সহ শব্দগুলি সহজেই সন্ধানের জন্য। উদাহরণস্বরূপ, যদি আমার কাছে টেনিস খেলোয়াড়দের একটি ডেটাবেস থাকে এবং বিজার্ন_বার্গ প্রবেশ করানো হয় তবে আমি বজর্ন_বর্গও রাখব যাতে কেউ বোরর্নে প্রবেশ করে এবং ব্রাজারনে না প্রবেশ করে তা খুঁজে পেতে পারি।

Question 2

আমি সম্প্রতি জাভাতে এটি করেছি:

public static final Pattern DIACRITICS_AND_FRIENDS
    = Pattern.compile("[\\p{InCombiningDiacriticalMarks}\\p{IsLm}\\p{IsSk}]+");

private static String stripDiacritics(String str) {
    str = Normalizer.normalize(str, Normalizer.Form.NFD);
    str = DIACRITICS_AND_FRIENDS.matcher(str).replaceAll("");
    return str;
}

এটি আপনি নির্দিষ্ট হিসাবে করবেন:

stripDiacritics("Björn")  = Bjorn

তবে এটি উদাহরণস্বরূপ বিয়াস্টক ব্যর্থ হবে, কারণ łচরিত্রটি ডায়াক্রিটিক নয়।

আপনি যদি একটি পূর্ণ-প্রস্ফুটিত স্ট্রিং সিম্পিলাইফার রাখতে চান তবে আপনার জন্য দ্বিতীয় ক্লিনআপ রাউন্ডের প্রয়োজন হবে, ডায়ায়্রিটিক্স নয় এমন আরও কয়েকটি বিশেষ অক্ষরের জন্য। এই মানচিত্রটি, আমি আমাদের গ্রাহকের নামগুলিতে উপস্থিত সবচেয়ে সাধারণ বিশেষ অক্ষরগুলি অন্তর্ভুক্ত করেছি। এটি সম্পূর্ণ তালিকা নয়, তবে কীভাবে এটি বাড়ানো যায় তা আপনাকে ধারণা দেবে। অপরিবর্তনীয় মানচিত্র গুগল-সংগ্রহ থেকে কেবল একটি সাধারণ শ্রেণি।

public class StringSimplifier {
    public static final char DEFAULT_REPLACE_CHAR = '-';
    public static final String DEFAULT_REPLACE = String.valueOf(DEFAULT_REPLACE_CHAR);
    private static final ImmutableMap<String, String> NONDIACRITICS = ImmutableMap.<String, String>builder()

        //Remove crap strings with no sematics
        .put(".", "")
        .put("\"", "")
        .put("'", "")

        //Keep relevant characters as seperation
        .put(" ", DEFAULT_REPLACE)
        .put("]", DEFAULT_REPLACE)
        .put("[", DEFAULT_REPLACE)
        .put(")", DEFAULT_REPLACE)
        .put("(", DEFAULT_REPLACE)
        .put("=", DEFAULT_REPLACE)
        .put("!", DEFAULT_REPLACE)
        .put("/", DEFAULT_REPLACE)
        .put("\\", DEFAULT_REPLACE)
        .put("&", DEFAULT_REPLACE)
        .put(",", DEFAULT_REPLACE)
        .put("?", DEFAULT_REPLACE)
        .put("°", DEFAULT_REPLACE) //Remove ?? is diacritic?
        .put("|", DEFAULT_REPLACE)
        .put("<", DEFAULT_REPLACE)
        .put(">", DEFAULT_REPLACE)
        .put(";", DEFAULT_REPLACE)
        .put(":", DEFAULT_REPLACE)
        .put("_", DEFAULT_REPLACE)
        .put("#", DEFAULT_REPLACE)
        .put("~", DEFAULT_REPLACE)
        .put("+", DEFAULT_REPLACE)
        .put("*", DEFAULT_REPLACE)

        //Replace non-diacritics as their equivalent characters
        .put("\u0141", "l") // BiaLystock
        .put("\u0142", "l") // Bialystock
        .put("ß", "ss")
        .put("æ", "ae")
        .put("ø", "o")
        .put("©", "c")
        .put("\u00D0", "d") // All Ð ð from http://de.wikipedia.org/wiki/%C3%90
        .put("\u00F0", "d")
        .put("\u0110", "d")
        .put("\u0111", "d")
        .put("\u0189", "d")
        .put("\u0256", "d")
        .put("\u00DE", "th") // thorn Þ
        .put("\u00FE", "th") // thorn þ
        .build();


    public static String simplifiedString(String orig) {
        String str = orig;
        if (str == null) {
            return null;
        }
        str = stripDiacritics(str);
        str = stripNonDiacritics(str);
        if (str.length() == 0) {
            // Ugly special case to work around non-existing empty strings
            // in Oracle. Store original crapstring as simplified.
            // It would return an empty string if Oracle could store it.
            return orig;
        }
        return str.toLowerCase();
    }

    private static String stripNonDiacritics(String orig) {
        StringBuffer ret = new StringBuffer();
        String lastchar = null;
        for (int i = 0; i < orig.length(); i++) {
            String source = orig.substring(i, i + 1);
            String replace = NONDIACRITICS.get(source);
            String toReplace = replace == null ? String.valueOf(source) : replace;
            if (DEFAULT_REPLACE.equals(lastchar) && DEFAULT_REPLACE.equals(toReplace)) {
                toReplace = "";
            } else {
                lastchar = toReplace;
            }
            ret.append(toReplace);
        }
        if (ret.length() > 0 && DEFAULT_REPLACE_CHAR == ret.charAt(ret.length() - 1)) {
            ret.deleteCharAt(ret.length() - 1);
        }
        return ret.toString();
    }

    /*
    Special regular expression character ranges relevant for simplification -> see http://docstore.mik.ua/orelly/perl/prog3/ch05_04.htm
    InCombiningDiacriticalMarks: special marks that are part of "normal" ä, ö, î etc..
        IsSk: Symbol, Modifier see http://www.fileformat.info/info/unicode/category/Sk/list.htm
        IsLm: Letter, Modifier see http://www.fileformat.info/info/unicode/category/Lm/list.htm
     */
    public static final Pattern DIACRITICS_AND_FRIENDS
        = Pattern.compile("[\\p{InCombiningDiacriticalMarks}\\p{IsLm}\\p{IsSk}]+");


    private static String stripDiacritics(String str) {
        str = Normalizer.normalize(str, Normalizer.Form.NFD);
        str = DIACRITICS_AND_FRIENDS.matcher(str).replaceAll("");
        return str;
    }
}

Question 3

মূল java.text প্যাকেজটি এই ব্যবহারের ক্ষেত্রে (ডায়াস্রিটিক্স, কেস ইত্যাদি বিবেচনা না করে স্ট্রিংগুলির সাথে মিল রেখে) তৈরি করার জন্য ডিজাইন করা হয়েছিল।

অক্ষরের পার্থক্য Collatorবাছাই করতে একটি কনফিগার করুন PRIMARY। এটির সাথে, CollationKeyপ্রতিটি স্ট্রিংয়ের জন্য একটি তৈরি করুন । যদি আপনার সমস্ত কোড জাভাতে থাকে তবে আপনি CollationKeyসরাসরি ব্যবহার করতে পারেন । আপনার যদি কোনও ডাটাবেস বা অন্য ধরণের সূচকে কীগুলি সঞ্চয় করতে হয় তবে আপনি এটিকে বাইট অ্যারেতে রূপান্তর করতে পারেন ।

এই ক্লাসগুলি কোন অক্ষর সমতুল্য তা নির্ধারণ করতে এবং ইউনিকোড স্ট্যান্ডার্ড কেস ফোল্ডিং ডেটা ব্যবহার করে এবং বিভিন্ন পচন কৌশল সমর্থন করে ।

Collator c = Collator.getInstance();
c.setStrength(Collator.PRIMARY);
Map<CollationKey, String> dictionary = new TreeMap<CollationKey, String>();
dictionary.put(c.getCollationKey("Björn"), "Björn");
...
CollationKey query = c.getCollationKey("bjorn");
System.out.println(dictionary.get(query)); // --> "Björn"

নোট করুন যে কলাররা লোকাল-নির্দিষ্ট। এটি কারণ "বর্ণানুক্রমিক ক্রম" লোকেলের মধ্যে পৃথক (এবং সময়ের সাথে সাথে স্প্যানিশের ক্ষেত্রেও এরকম হয়েছে)। Collatorবর্গ এই নিয়ম সব ট্র্যাক তারিখ থেকে তাদের তাল মেলাতে না থাকার থেকে দূর করে দেয়।

Question 4

এটি ভার্চ হিসাবে অ্যাপাচি কমন্স ল্যাং এর অংশ । ৩.১০।

org.apache.commons.lang3.StringUtils.stripAccents("Añ");

প্রত্যাবর্তন An

Question 5

আপনি এর থেকে নরমালাইজার ক্লাসটি ব্যবহার করতে পারেন java.text:

System.out.println(new String(Normalizer.normalize("ń ǹ ň ñ ṅ ņ ṇ ṋ", Normalizer.Form.NFKD).getBytes("ascii"), "ascii"));

তবে এখনও কিছু কাজ করার আছে, যেহেতু জাভা অবিচ্ছিন্ন ইউনিকোড অক্ষরগুলি দিয়ে অদ্ভুত জিনিসগুলি তৈরি করে (এটি সেগুলি উপেক্ষা করে না এবং এটি একটি ব্যতিক্রমও ছুঁড়ে না)। তবে আমি মনে করি আপনি এটি একটি পয়েন্টিং হিসাবে ব্যবহার করতে পারেন।

Question 6

ইউনিকোড ওয়েবসাইটে চরিত্র ভাঁজ করার বিষয়ে একটি খসড়া প্রতিবেদন রয়েছে যার মধ্যে প্রচুর প্রাসঙ্গিক উপাদান রয়েছে। বিশেষভাবে বিভাগ 4.1 দেখুন। "ভাঁজ অ্যালগরিদম"।

পার্ল ব্যবহার করে ডায়াক্রিটিক চিহ্নিতকারী অপসারণ সম্পর্কিত আলোচনা এবং বাস্তবায়ন এখানে ।

এই বিদ্যমান এসও প্রশ্নগুলি সম্পর্কিত:

Question 7

দয়া করে মনে রাখবেন যে এই চিহ্নগুলি সমস্ত কিছু "সাধারণ" চরিত্রের কেবল "চিহ্ন" নয়, আপনি অর্থ পরিবর্তন না করেই মুছে ফেলতে পারেন।

সুইডিশ ভাষায়, å ä এবং true সত্য এবং যথাযথ প্রথম-শ্রেণীর অক্ষর, অন্য কোনও চরিত্রের কিছু "বৈকল্পিক" নয়। এগুলি অন্য সমস্ত চরিত্রের থেকে আলাদা বলে মনে হয়, এগুলি আলাদা আলাদা করে তোলে এবং শব্দের অর্থ পরিবর্তিত করে ("ম্যাট" এবং "ম্যাট" দুটি পৃথক শব্দ)।

Question 8

ইউনিকোডে নির্দিষ্ট ডায়াট্রিক অক্ষর রয়েছে (যা সম্মিলিত অক্ষর) এবং একটি স্ট্রিং রূপান্তর করা যায় যাতে অক্ষর এবং ডায়াবেটিকগুলি পৃথক হয় are তারপরে, আপনি স্ট্রিং থেকে ডায়েরাট্রসগুলি সরাতে পারেন এবং আপনি মূলত সম্পন্ন করেছেন।

সাধারণকরণ, পচন এবং সমতুল্যতার বিষয়ে আরও তথ্যের জন্য ইউনিকোডের হোম পৃষ্ঠাতে ইউনিকোড স্ট্যান্ডার্ড দেখুন ।

তবে, আপনি কীভাবে এটি অর্জন করতে পারবেন তা নির্ভর করে ফ্রেমওয়ার্ক / ওএস / ... এর উপরে যা আপনি কাজ করছেন on আপনি .NET ব্যবহার করেন, তাহলে আপনি ব্যবহার করতে পারেন String.Normalize পদ্ধতি গ্রহণ System.Text.NormalizationForm শুমার।

Question 9

সবচেয়ে সহজ উপায় (আমার কাছে) হ'ল কেবল বিরল ম্যাপিং অ্যারে বজায় রাখা যা আপনার ইউনিকোড কোড পয়েন্টকে কেবল প্রদর্শনযোগ্য স্ট্রিংগুলিতে পরিবর্তন করে।

যেমন:

start    = 0x00C0
size     = 23
mappings = {
    "A","A","A","A","A","A","AE","C",
    "E","E","E","E","I","I","I", "I",
    "D","N","O","O","O","O","O"
}
start    = 0x00D8
size     = 6
mappings = {
    "O","U","U","U","U","Y"
}
start    = 0x00E0
size     = 23
mappings = {
    "a","a","a","a","a","a","ae","c",
    "e","e","e","e","i","i","i", "i",
    "d","n","o","o","o","o","o"
}
start    = 0x00F8
size     = 6
mappings = {
    "o","u","u","u","u","y"
}
: : :

একটি স্পারস অ্যারের ব্যবহার আপনাকে ইউনিকোড টেবিলের বিস্তৃত ব্যবধানে বিভাজনে থাকা সত্ত্বেও দক্ষতার সাথে প্রতিস্থাপনের সুযোগ দেয়। স্ট্রিং প্রতিস্থাপনগুলি সালাহী সিকোয়েন্সগুলি আপনার ডায়াক্রিটিক্সকে প্রতিস্থাপন করতে অনুমতি দেবে (যেমন æগ্রাফিয়াম হয়ে উঠছে ae)।

এটি একটি ভাষা-অজ্ঞাত উত্তর, সুতরাং আপনার যদি মনে একটি নির্দিষ্ট ভাষা থাকে তবে আরও ভাল উপায় থাকতে পারে (যদিও তারা সম্ভবত এইভাবে সর্বনিম্ন স্তরে নেমে আসবেন)।

Question 10

কিছু বিবেচনা করার বিষয়: আপনি যদি প্রতিটি শব্দের একটিমাত্র "অনুবাদ" পাওয়ার চেষ্টা করে চলে যান তবে আপনি কিছু সম্ভাব্য বিকল্প মিস করতে পারেন।

উদাহরণস্বরূপ, জার্মান ভাষায়, "এস-সেট" প্রতিস্থাপনের সময়, কিছু লোক "বি" ব্যবহার করতে পারে, অন্যরা "এসএস" ব্যবহার করতে পারে। বা, একটি দোলা o কে "o" বা "oe" দিয়ে প্রতিস্থাপন করা হচ্ছে। আপনি যে কোনও সমাধান নিয়ে আসেন, আদর্শভাবে, আমি মনে করি উভয়টি অন্তর্ভুক্ত করা উচিত।

Question 11

উইন্ডোজ এবং .NET এ, আমি কেবল স্ট্রিং এনকোডিং ব্যবহার করে রূপান্তর করি। এইভাবে আমি ম্যানুয়াল ম্যাপিং এবং কোডিং এড়াতে চাই।

স্ট্রিং এনকোডিং সহ খেলতে চেষ্টা করুন।

Question 12

জার্মানির ক্ষেত্রে এটি উমলাউট (ä, ö, ü) থেকে ডায়াক্রিটিক্স অপসারণ করতে চায় নি। পরিবর্তে এগুলি দুটি অক্ষরের সংমিশ্রণ দ্বারা প্রতিস্থাপিত হয় (ae, oe, ue) উদাহরণস্বরূপ, সঠিক উচ্চারণের জন্য Björn কে Bjoern (Bjorn নয়) হিসাবে লেখা উচিত।

তার জন্য আমার পরিবর্তে একটি হার্ডকোডযুক্ত ম্যাপিং থাকবে, যেখানে আপনি প্রতিটি বিশেষ চরিত্র গোষ্ঠীর জন্য পৃথকভাবে প্রতিস্থাপনের নিয়মটি সংজ্ঞায়িত করতে পারেন।

Question 13

ভবিষ্যতের রেফারেন্সের জন্য, এখানে একটি সি # এক্সটেনশন পদ্ধতি যা অ্যাকসেন্টগুলি সরিয়ে দেয়।

public static class StringExtensions
{
    public static string RemoveDiacritics(this string str)
    {
        return new string(
            str.Normalize(NormalizationForm.FormD)
                .Where(c => CharUnicodeInfo.GetUnicodeCategory(c) != 
                            UnicodeCategory.NonSpacingMark)
                .ToArray());
    }
}
static void Main()
{
    var input = "ŃŅŇ ÀÁÂÃÄÅ ŢŤţť Ĥĥ àáâãäå ńņň";
    var output = input.RemoveDiacritics();
    Debug.Assert(output == "NNN AAAAAA TTtt Hh aaaaaa nnn");
}