জাভাস্ক্রিপ্ট স্ট্রিংয়ে কয়টি বাইট?

Question 1

আমার কাছে একটি জাভাস্ক্রিপ্ট স্ট্রিং রয়েছে যা ইউটিএফ -8-এ সার্ভার থেকে পাঠানোর সময় প্রায় 500K। আমি জাভাস্ক্রিপ্টে এর আকারটি কীভাবে বলতে পারি?

আমি জানি যে জাভাস্ক্রিপ্টটি ইউসিএস -২ ব্যবহার করে, সুতরাং এর অর্থ কী প্রতি চরিত্রের জন্য 2 বাইট? তবে এটি কি জাভাস্ক্রিপ্ট বাস্তবায়নের উপর নির্ভর করে? অথবা পৃষ্ঠায় এনকোডিং বা কন্টেন্ট-টাইপ হতে পারে?

Question 2

Stringমানগুলি বাস্তবায়ন নির্ভর নয়, ইসিএমএ-262 তৃতীয় সংস্করণ উল্লেখ অনুযায়ী প্রতিটি অক্ষর UTF-16 পাঠ্যের একক 16-বিট ইউনিট উপস্থাপন করে :

4.3.16 স্ট্রিংয়ের মান

একটি স্ট্রিং মান স্ট্রিং টাইপের সদস্য এবং এটি শূন্য বা আরও 16-বিট স্বাক্ষরযুক্ত পূর্ণসংখ্যার মানগুলির সীমাবদ্ধ ক্রম।

দ্রষ্টব্য যদিও প্রতিটি মান সাধারণত UTF-16 পাঠ্যের একক 16-বিট ইউনিট উপস্থাপন করে, ভাষাটি 16-বিট স্বাক্ষরবিহীন পূর্ণসংখ্যার ব্যতীত মানগুলিতে কোনও সীমাবদ্ধতা বা প্রয়োজনীয়তা রাখে না।

Question 3

এই ফাংশনটি আপনার কাছে যে কোনও ইউটিএফ -8 স্ট্রিংয়ের বাইট আকার দেয়।

function byteCount(s) {
    return encodeURI(s).split(/%..|./).length - 1;
}

সূত্র

জাভাস্ক্রিপ্ট ইঞ্জিনগুলি ইউসিএস -2 বা ইউটিএফ -16 অভ্যন্তরীণভাবে ব্যবহার করতে পারে। আমি ইউটিএফ -16 ব্যবহার সম্পর্কে জানি এমন বেশিরভাগ ইঞ্জিন, তবে তারা যে কোনও পছন্দই করুক না কেন, এটি কেবলমাত্র একটি বাস্তবায়নের বিশদ যা ভাষার বৈশিষ্ট্যগুলিকে প্রভাবিত করবে না।

ইসিএমএসক্রিপ্ট / জাভাস্ক্রিপ্ট ভাষা নিজেই, ইউটিএফ -16 অনুযায়ী নয়, ইউসিএস -২ অনুযায়ী অক্ষর উন্মুক্ত করে।

সূত্র

Question 4

আপনি যদি নোড.জেএস ব্যবহার করছেন তবে বাফার ব্যবহারের একটি সহজ সমাধান রয়েছে :

function getBinarySize(string) {
    return Buffer.byteLength(string, 'utf8');
}

এর জন্য একটি এনপিএম লিবি রয়েছে: https://www.npmjs.org/package/utf8-binary-cutter (বিশ্বস্ততার দ্বারা আপনার)

Question 5

বাইটগুলিতে স্ট্রিংয়ের আকার পেতে আপনি ব্লব ব্যবহার করতে পারেন ।

উদাহরণ:

console.info(
  new Blob(['😂']).size,                             // 4
  new Blob(['👍']).size,                             // 4
  new Blob(['😂👍']).size,                           // 8
  new Blob(['👍😂']).size,                           // 8
  new Blob(['I\'m a string']).size,                  // 12

  // from Premasagar correction of Lauri's answer for
  // strings containing lone characters in the surrogate pair range:
  // https://stackoverflow.com/a/39488643/6225838
  new Blob([String.fromCharCode(55555)]).size,       // 3
  new Blob([String.fromCharCode(55555, 57000)]).size // 4 (not 6)
);

স্নিপেট প্রসারিত করুন

Question 6

আনস্কেপ জেএস ফাংশনটি ব্যবহার করে এই সমন্বয়টি ব্যবহার করে দেখুন:

const byteAmount = unescape(encodeURIComponent(yourString)).length

সম্পূর্ণ এনকোড প্রসেস উদাহরণ:

const s  = "1 a ф № @ ®"; //length is 11
const s2 = encodeURIComponent(s); //length is 41
const s3 = unescape(s2); //length is 15 [1-1,a-1,ф-2,№-3,@-1,®-2]
const s4 = escape(s3); //length is 39
const s5 = decodeURIComponent(s4); //length is 11

Question 7

মনে রাখবেন যে আপনি যদি নোড.জেগুলি লক্ষ্য করে থাকেন তবে আপনি এটি ব্যবহার করতে পারেন Buffer.from(string).length:

var str = "\u2620"; // => "☠"
str.length; // => 1 (character)
Buffer.from(str).length // => 3 (bytes)

Question 8

ইউটিএফ -8 কোড পয়েন্ট প্রতি 1 থেকে 4 বাইট ব্যবহার করে অক্ষরগুলিকে এনকোড করে। সিএমএস হিসাবে গৃহীত উত্তরে উল্লেখ করা হয়েছে, জাভাস্ক্রিপ্ট প্রতিটি অক্ষর অভ্যন্তরীণভাবে 16 বিট (2 বাইট) ব্যবহার করবে।

আপনি যদি স্ট্রিংয়ের প্রতিটি অক্ষরকে একটি লুপের মাধ্যমে পার্স করেন এবং কোড পয়েন্ট অনুসারে ব্যবহৃত বাইটের সংখ্যা গণনা করেন এবং তারপরে মোট গণনাটি 2 দিয়ে গুণ করেন, আপনার সেই ইউটিএফ -8 এনকোড স্ট্রিংয়ের বাইটে জাভাস্ক্রিপ্টের মেমরির ব্যবহার থাকতে হবে। সম্ভবত এরকম কিছু:

      getStringMemorySize = function( _string ) {
        "use strict";

        var codePoint
            , accum = 0
        ;

        for( var stringIndex = 0, endOfString = _string.length; stringIndex < endOfString; stringIndex++ ) {
            codePoint = _string.charCodeAt( stringIndex );

            if( codePoint < 0x100 ) {
                accum += 1;
                continue;
            }

            if( codePoint < 0x10000 ) {
                accum += 2;
                continue;
            }

            if( codePoint < 0x1000000 ) {
                accum += 3;
            } else {
                accum += 4;
            }
        }

        return accum * 2;
    }

উদাহরণ:

getStringMemorySize( 'I'    );     //  2
getStringMemorySize( '❤'    );     //  4
getStringMemorySize( '𠀰'   );     //  8
getStringMemorySize( 'I❤𠀰' );     // 14

Question 9

এই আমি ব্যবহার 3 টি উপায়:

পাঠ্য এনকোডার ()

(new TextEncoder().encode("myString")).length)
ব্লব

new Blob(["myString"]).size)
বাফার

Buffer.byteLength("myString", 'utf8'))

Question 10

একটি জাভাস্ক্রিপ্ট স্ট্রিং এর আকার হয়

প্রাক ES6 : 2 অক্ষর প্রতি বাইট
ES6 এবং তার পরে: চরিত্র অনুসারে 2 বাইট, বা চরিত্র অনুসারে 5 বা আরও বেশি বাইট

প্রাক ES6
সর্বদা অক্ষর প্রতি 2 বাইট। ইউটিএফ -16 অনুমোদিত নয় কারণ অনুপস্থিতিতে বলা হয়েছে "মানগুলি 16-বিট স্বাক্ষরবিহীন পূর্ণসংখ্যার হতে হবে"। যেহেতু ইউটিএফ -16 স্ট্রিং 3 বা 4 বাইট অক্ষর ব্যবহার করতে পারে তাই এটি 2 বাইটের প্রয়োজনীয়তা লঙ্ঘন করবে। গুরুতরভাবে, যদিও ইউটিএফ -16 সম্পূর্ণরূপে সমর্থন করা যায় না, মানকটির প্রয়োজন হয় যে দুটি বাইট অক্ষর ব্যবহৃত বৈধ ইউটিএফ -16 অক্ষর। অন্য কথায়, প্রাক ES6 জাভাস্ক্রিপ্ট স্ট্রিংগুলি ইউটিএফ -16 অক্ষরের একটি উপসেট সমর্থন করে।

ES6 এবং পরবর্তী
অক্ষরে 2 বাইট, বা চরিত্র অনুসারে 5 বা আরও বেশি বাইট। অতিরিক্ত মাপ খেলতে আসে কারণ ES6 (ECMAScript 6) ইউনিকোড কোড পয়েন্ট পলায়নের জন্য সমর্থন যোগ করে । একটি ইউনিকোড এস্কেপ ব্যবহার করা দেখতে এরকম দেখাচ্ছে: \ u {1D306}

ব্যবহারিক নোট

এটি কোনও নির্দিষ্ট ইঞ্জিনের অভ্যন্তরীণ প্রয়োগের সাথে সম্পর্কিত নয়। উদাহরণস্বরূপ, কিছু ইঞ্জিন সম্পূর্ণ ইউটিএফ -16 সমর্থন সহ ডেটা স্ট্রাকচার এবং লাইব্রেরি ব্যবহার করে, তবে তারা বাহ্যিকভাবে যা সরবরাহ করে তা পুরো ইউটিএফ -16 সমর্থন করে না। এছাড়াও একটি ইঞ্জিন বহিরাগত ইউটিএফ -16 সমর্থন সরবরাহ করতে পারে তবে এটি করার বাধ্যতামূলক নয়।
ES6 এর জন্য, ব্যবহারিকভাবে বলার অক্ষরগুলি কখনই 5 বাইটের বেশি দীর্ঘ হতে পারে না (ইউনিকোড কোড পয়েন্টের জন্য এস্কেপ পয়েন্টের জন্য 2 বাইট + 3 বাইট) কারণ ইউনিকোডের সর্বশেষতম সংস্করণে কেবলমাত্র 136,755 টি অক্ষর রয়েছে যা সহজেই 3 বাইটে ফিট করে। তবে এটি প্রযুক্তিগতভাবে স্ট্যান্ডার্ডের দ্বারা সীমাবদ্ধ নয় তাই মূলত একটি অক্ষর কোড পয়েন্টের জন্য 4 বাইট এবং মোট 6 বাইট ব্যবহার করতে পারে।
বাইট সাইজ গণনা করার জন্য এখানে বেশিরভাগ কোড উদাহরণগুলি ES6 ইউনিকোড কোড পয়েন্টটি পালিয়ে যায় বলে মনে হয় না, তাই ফলাফলগুলি কিছু ক্ষেত্রে ভুল হতে পারে।

Question 11

একটি জাভাস্ক্রিপ্ট স্ট্রিংয়ের একটি একক উপাদানটিকে একটি একক UTF-16 কোড ইউনিট হিসাবে বিবেচনা করা হয়। এটি বলার জন্য, স্ট্রিংস অক্ষরগুলি 16-বিট (1 কোড ইউনিট) এ সংরক্ষণ করা হয় এবং 16-বিট 2 বাইট (8-বিট = 1 বাইট) এর সমান।

charCodeAt()পদ্ধতি প্রদত্ত সূচিতে হল UTF-16 কোড ইউনিট প্রতিনিধিত্বমূলক 0 এবং 65535 মাঝের একটি পূর্ণসংখ্যা ফিরে যাওয়ার ব্যবহার করা যাবে।

codePointAt()যেমন হল UTF-32 ইউনিকোড অক্ষর জন্য সমগ্র কোড বিন্দু মান ফেরত পাঠাতে ব্যবহার করা যাবে।

যখন কোনও ইউটিএফ -16 অক্ষরকে একটি একক 16-বিট কোড ইউনিটে উপস্থাপন করা যায় না, তখন এতে একটি সারোগেট জুড়ি থাকবে এবং সুতরাং দুটি কোড ইউনিট ব্যবহার করা হবে (2 x 16-বিট = 4 বাইট)

বিভিন্ন এনকোডিং এবং তাদের কোড ব্যাপ্তির জন্য ইউনিকোড এনকোডিংগুলি দেখুন ।

Question 12

লৌরি ওহের্ডের উত্তরটি বন্যগুলিতে দেখা বেশিরভাগ স্ট্রিংয়ের জন্য ভাল কাজ করে, তবে যদি স্ট্রিংটিতে সারোগেট জুটির পরিসর, 0xD800 থেকে 0xDFFF এর মধ্যে একক অক্ষর থাকে তবে ব্যর্থ হয়। যেমন

byteCount(String.fromCharCode(55555))
// URIError: URI malformed

এই আর ফাংশনটি সমস্ত স্ট্রিং পরিচালনা করতে হবে:

function bytes (str) {
  var bytes=0, len=str.length, codePoint, next, i;

  for (i=0; i < len; i++) {
    codePoint = str.charCodeAt(i);

    // Lone surrogates cannot be passed to encodeURI
    if (codePoint >= 0xD800 && codePoint < 0xE000) {
      if (codePoint < 0xDC00 && i + 1 < len) {
        next = str.charCodeAt(i + 1);

        if (next >= 0xDC00 && next < 0xE000) {
          bytes += 4;
          i++;
          continue;
        }
      }
    }

    bytes += (codePoint < 0x80 ? 1 : (codePoint < 0x800 ? 2 : 3));
  }

  return bytes;
}

যেমন

bytes(String.fromCharCode(55555))
// 3

এটি সরোগেট জোড়যুক্ত স্ট্রিংগুলির জন্য আকারটি সঠিকভাবে গণনা করবে:

bytes(String.fromCharCode(55555, 57000))
// 4 (not 6)

ফলাফলগুলি নোডের অন্তর্নির্মিত কার্যের সাথে তুলনা করা যেতে পারে Buffer.byteLength:

Buffer.byteLength(String.fromCharCode(55555), 'utf8')
// 3

Buffer.byteLength(String.fromCharCode(55555, 57000), 'utf8')
// 4 (not 6)

Question 13

আমি ভি 8 ইঞ্জিনের এম্বেড করা সংস্করণ নিয়ে কাজ করছি। আমি একটি স্ট্রিং পরীক্ষা করেছি। প্রতিটি ধাপে 1000 অক্ষর পুশ করা হচ্ছে। ইউটিএফ -8।

একক বাইট (8 বিট, এএনএসআই) অক্ষর "এ" (হেক্স: 41) দিয়ে প্রথম পরীক্ষা। দুটি বাইট অক্ষর (16 বিট) "Ω" (হেক্স: সিই এ 9) এবং তৃতীয় পরীক্ষা তিনটি বাইট অক্ষর (24 বিট) "☺" (হেক্স: ই 2 98 বিএ) সহ দ্বিতীয় পরীক্ষা।

তিনটি ক্ষেত্রেই ডিভাইস 888 000 অক্ষর এবং সিএ ব্যবহার করে মেমরি থেকে মুদ্রণ করে র‌্যামে 26 348 কেবি।

ফলাফল: চরিত্রগুলি গতিশীলভাবে সংরক্ষণ করা হয় না। এবং শুধুমাত্র 16 বিট দিয়ে নয়। - ঠিক আছে, সম্ভবত কেবল আমার ক্ষেত্রে (এম্বেডেড 128 এমবি র‌্যাম ডিভাইস, ভি 8 ইঞ্জিন সি ++ / কিউটি) - জাভাস্ক্রিপ্ট ইঞ্জিনের র‌্যামের আকারের সাথে অক্ষর এনকোডিংয়ের কোনও সম্পর্ক নেই। উদাহরণস্বরূপ এনকোডিংউরি ইত্যাদি কেবলমাত্র হাইলেভেল ডেটা সংক্রমণ এবং সঞ্চয় করার জন্য দরকারী।

এম্বেড করা বা না, বাস্তবতা হল অক্ষরগুলি কেবল 16 বিটে সংরক্ষণ করা হয় না। দুর্ভাগ্যক্রমে আমার কোনও 100% উত্তর নেই, জাভাস্ক্রিপ্ট নিম্ন স্তরের অঞ্চলে কী করে। বিটিডব্লিউ আমি "এ" চরিত্রের অ্যারে দিয়ে একই (উপরে প্রথম পরীক্ষা) পরীক্ষা করেছি। প্রতি পদক্ষেপে 1000 টি আইটেম পুশ করা হয়েছে। (ঠিক একই পরীক্ষা। অ্যারেতে স্ট্রিং প্রতিস্থাপন করা হয়েছে) এবং সিস্টেমটি মেমরি থেকে বেরিয়ে আসে (চেয়েছিল) 10 416 কেবি ব্যবহার করে এবং 1 337 000 এর অ্যারে দৈর্ঘ্য ব্যবহার করে So সুতরাং, জাভাস্ক্রিপ্ট ইঞ্জিনটি সাধারণ সীমাবদ্ধ নয়। এটি একধরনের জটিল।

Question 14

আপনি এটি চেষ্টা করতে পারেন:

  var b = str.match(/[^\x00-\xff]/g);
  return (str.length + (!b ? 0: b.length));

এটা আমার জন্য কাজ করেছে।