কীভাবে স্ট্রিংকে বাইটারিতে রূপান্তর করবেন

Question 1

আমি কীভাবে জাভাস্ক্রিপ্ট ব্যবহার করে বাইটায়ারে একটি স্ট্রিং রূপান্তর করতে পারি। আউটপুট নীচের সি # কোডের সমতুল্য হওয়া উচিত।

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes(AnyString);

ইউনিকোডএইনকোডিং হ'ল ইউটিএফ -16 এর লিটল-এন্ডিয়ানেন্স সহ ডিফল্টরূপে।

সম্পাদনা করুন: উপরের সি # কোডটি ব্যবহার করে সার্ভার সাইডে উত্পন্ন একটির সাথে আমার বাইটেরে উত্পন্ন ক্লায়েন্ট সাইডটি মেলাতে হবে।

Question 2

সি # এ চলছে running

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes("Hello");

দিয়ে একটি অ্যারে তৈরি করবে

72,0,101,0,108,0,108,0,111,0

বাইট অ্যারে

এমন একটি চরিত্রের জন্য যা কোডটি 255 এর চেয়ে বেশি এটির মতো দেখতে হবে

বাইট অ্যারে

আপনি যদি জাভাস্ক্রিপ্টে খুব অনুরূপ আচরণ চান তবে আপনি এটি করতে পারেন (ভি 2 হ'ল আরও দৃ solution় সমাধান, মূল সংস্করণটি কেবল 0x00 ~ 0xff এর জন্য কাজ করবে)

var str = "Hello竜";
var bytes = []; // char codes
var bytesv2 = []; // char codes

for (var i = 0; i < str.length; ++i) {
  var code = str.charCodeAt(i);
  
  bytes = bytes.concat([code]);
  
  bytesv2 = bytesv2.concat([code & 0xff, code / 256 >>> 0]);
}

// 72, 101, 108, 108, 111, 31452
console.log('bytes', bytes.join(', '));

// 72, 0, 101, 0, 108, 0, 108, 0, 111, 0, 220, 122
console.log('bytesv2', bytesv2.join(', '));

স্নিপেট প্রসারিত করুন

Question 3

আপনি যদি এমন কোনও সমাধান খুঁজছেন যা নোড.জেজে কাজ করে তবে আপনি এটি ব্যবহার করতে পারেন:

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

Question 4

আমি মনে করি সি # এবং জাভা সমান বাইট অ্যারে উত্পাদন করে। আপনার যদি অ-এসসিআইআই অক্ষর থাকে তবে অতিরিক্ত 0 যোগ করার পক্ষে এটি যথেষ্ট নয় My আমার উদাহরণে কয়েকটি বিশেষ অক্ষর রয়েছে:

var str = "Hell ö € Ω 𝄞";
var bytes = [];
var charCode;

for (var i = 0; i < str.length; ++i)
{
    charCode = str.charCodeAt(i);
    bytes.push((charCode & 0xFF00) >> 8);
    bytes.push(charCode & 0xFF);
}

alert(bytes.join(' '));
// 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

আমি জানি না যে সি # বিওএম রাখে (বাইট অর্ডার মার্কস), তবে যদি ইউটিএফ -16 ব্যবহার করে তবে জাভা String.getBytesনিম্নলিখিত বাইটগুলি যুক্ত করে: 254 255।

String s = "Hell ö € Ω ";
// now add a character outside the BMP (Basic Multilingual Plane)
// we take the violin-symbol (U+1D11E) MUSICAL SYMBOL G CLEF
s += new String(Character.toChars(0x1D11E));
// surrogate codepoints are: d834, dd1e, so one could also write "\ud834\udd1e"

byte[] bytes = s.getBytes("UTF-16");
for (byte aByte : bytes) {
    System.out.print((0xFF & aByte) + " ");
}
// 254 255 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

সম্পাদনা করুন:

একটি বিশেষ অক্ষর যুক্ত হয়েছে (U + 1D11E) মিউজিকাল সিম্বল জি সিএলএফ (বিপিএম এর বাইরে, সুতরাং ইউটিএফ -16 এ কেবল 2 বাইট নয়, তবে 4)।

বর্তমান জাভাস্ক্রিপ্ট সংস্করণগুলি অভ্যন্তরীণভাবে "ইউসিএস -২" ব্যবহার করে, সুতরাং এই চিহ্নটি 2 টি সাধারণ অক্ষরের স্থান নেয়।

আমি নিশ্চিত নই তবে charCodeAtএটি ব্যবহার করার সময় মনে হয় আমরা ঠিক ইউটিএফ -১ 16 তেও ব্যবহৃত সার্গেট কোডপয়েন্ট পেয়েছি, সুতরাং বিপিএম-বি অক্ষরগুলি সঠিকভাবে পরিচালনা করা হয়।

এই সমস্যাটি একেবারে অপ্রয়োজনীয়। এটি ব্যবহৃত জাভাস্ক্রিপ্ট সংস্করণ এবং ইঞ্জিনগুলির উপর নির্ভর করে। সুতরাং আপনি যদি নির্ভরযোগ্য সমাধান চান তবে আপনার এক নজর দেওয়া উচিত:

https://github.com/koichik/node-codepPoint/
http://mathiasbynens.be/notes/ javascript-escapes
মজিলা বিকাশকারী নেটওয়ার্ক: charCodeAt
বিগ ইন্ডিয়ান বনাম লিটল ইন্ডিয়ান

Question 5

2018 এর সবচেয়ে সহজ উপায় টেক্সটইনকোডার হওয়া উচিত তবে ফিরে আসা উপাদানটি বাইট অ্যারে নয়, এটি ইউন্ট 8আরে। (এবং সমস্ত ব্রাউজার এটি সমর্থন করে না)

let utf8Encode = new TextEncoder();
utf8Encode.encode("eee")
> Uint8Array [ 101, 101, 101 ]

Question 6

UTF-16 বাইট অ্যারে

জাভা স্ক্রিপ্টটি সি # এর মতোই ইউটিএফ -16 হিসাবে স্ট্রিংগুলি এনকোড করে UnicodeEncoding, তাই বাইট অ্যারেগুলি ঠিক ব্যবহার করে মিলবে charCodeAt()এবং প্রতিটি ফিরে বাইট জোড়াকে 2 টি পৃথক বাইটে বিভক্ত করা উচিত:

function strToUtf16Bytes(str) {
  const bytes = [];
  for (ii = 0; ii < str.length; ii++) {
    const code = str.charCodeAt(ii); // x00-xFFFF
    bytes.push(code & 255, code >> 8); // low, high
  }
  return bytes;
}

উদাহরণ স্বরূপ:

strToUtf16Bytes('🌵'); 
// [ 60, 216, 53, 223 ]

তবে, আপনি যদি কোনও ইউটিএফ -8 বাইট অ্যারে পেতে চান তবে আপনাকে অবশ্যই বাইটগুলি ট্রান্সকোড করতে হবে।

UTF-8 বাইট অ্যারে

সমাধানটি কিছুটা তুচ্ছ মনে হয়, তবে আমি নীচের কোডটি একটি উচ্চ ট্র্যাফিক উত্পাদন পরিবেশে দুর্দান্ত সাফল্যের সাথে ( মূল উত্স ) ব্যবহার করেছি।

এছাড়াও, আগ্রহী পাঠকের জন্য, আমি আমার ইউনিকোড সহায়কগুলি প্রকাশ করেছি যা আমাকে পিএইচপি এর মতো অন্যান্য ভাষায় রিপোর্ট করা স্ট্রিং দৈর্ঘ্যের সাথে কাজ করতে সহায়তা করে।

/**
 * Convert a string to a unicode byte array
 * @param {string} str
 * @return {Array} of bytes
 */
export function strToUtf8Bytes(str) {
  const utf8 = [];
  for (let ii = 0; ii < str.length; ii++) {
    let charCode = str.charCodeAt(ii);
    if (charCode < 0x80) utf8.push(charCode);
    else if (charCode < 0x800) {
      utf8.push(0xc0 | (charCode >> 6), 0x80 | (charCode & 0x3f));
    } else if (charCode < 0xd800 || charCode >= 0xe000) {
      utf8.push(0xe0 | (charCode >> 12), 0x80 | ((charCode >> 6) & 0x3f), 0x80 | (charCode & 0x3f));
    } else {
      ii++;
      // Surrogate pair:
      // UTF-16 encodes 0x10000-0x10FFFF by subtracting 0x10000 and
      // splitting the 20 bits of 0x0-0xFFFFF into two halves
      charCode = 0x10000 + (((charCode & 0x3ff) << 10) | (str.charCodeAt(ii) & 0x3ff));
      utf8.push(
        0xf0 | (charCode >> 18),
        0x80 | ((charCode >> 12) & 0x3f),
        0x80 | ((charCode >> 6) & 0x3f),
        0x80 | (charCode & 0x3f),
      );
    }
  }
  return utf8;
}

Question 7

@ Hgoebl এর উত্তর দ্বারা অনুপ্রাণিত। তার কোডটি ইউটিএফ -16 এর জন্য এবং আমার US-ASCII এর জন্য কিছু দরকার ছিল। সুতরাং এখানে ইউএস-এএসসিআইআই, ইউটিএফ -16, এবং ইউটিএফ -32 coveringেকে আরও একটি সম্পূর্ণ উত্তর দেওয়া আছে।

/**@returns {Array} bytes of US-ASCII*/
function stringToAsciiByteArray(str)
{
    var bytes = [];
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
      if (charCode > 0xFF)  // char > 1 byte since charCodeAt returns the UTF-16 value
      {
          throw new Error('Character ' + String.fromCharCode(charCode) + ' can\'t be represented by a US-ASCII byte.');
      }
       bytes.push(charCode);
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-16 Big Endian without BOM*/
function stringToUtf16ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
       //char > 2 bytes is impossible since charCodeAt can only return 2 bytes
       bytes.push((charCode & 0xFF00) >>> 8);  //high byte (might be 0)
       bytes.push(charCode & 0xFF);  //low byte
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-32 Big Endian without BOM*/
function stringToUtf32ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(0, 0, 254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; i+=2)
   {
       var charPoint = str.codePointAt(i);
       //char > 4 bytes is impossible since codePointAt can only return 4 bytes
       bytes.push((charPoint & 0xFF000000) >>> 24);
       bytes.push((charPoint & 0xFF0000) >>> 16);
       bytes.push((charPoint & 0xFF00) >>> 8);
       bytes.push(charPoint & 0xFF);
   }
    return bytes;
}

UTF-8 পরিবর্তনশীল দৈর্ঘ্য এবং অন্তর্ভুক্ত করা হয়নি কারণ আমাকে নিজেই এনকোডিংটি লিখতে হবে। UTF-8 এবং UTF-16 পরিবর্তনশীল দৈর্ঘ্য। ইউটিএফ -8, ইউটিএফ -16, এবং ইউটিএফ -32 এর নামটি ইঙ্গিত করে ন্যূনতম সংখ্যক বিট রয়েছে। যদি কোনও ইউটিএফ -32 বর্ণের একটি 65 পয়েন্টের কোড পয়েন্ট থাকে তবে তার অর্থ 3 টি শীর্ষস্থানীয় 0 রয়েছে। তবে ইউটিএফ -16 এর জন্য একই কোডটিতে কেবল 1 টি শীর্ষস্থানীয় 0 অন্যদিকে ইউএস-এএসসিআইআই প্রস্থ 8-বিট নির্দিষ্ট করা হয়েছে যার অর্থ এটি সরাসরি বাইটে অনুবাদ করা যেতে পারে।

String.prototype.charCodeAtসর্বাধিক 2 বাইট রিটার্ন দেয় এবং ইউটিএফ -16 এর সাথে হুবহু মিলে যায়। তবে ইউটিএফ -32 এর String.prototype.codePointAtজন্য প্রয়োজনীয় যা ইসমাস্ক্রিপ্ট 6 (হারমোনি) প্রস্তাবনার অংশ। যেহেতু চারকোডএট 2 বাইট রিটার্ন দেয় যা ইউএস-এএসসিআইআই প্রতিনিধিত্ব করতে পারে stringToAsciiByteArrayতার চেয়ে বেশি সম্ভাব্য অক্ষর, ফাংশনটি অক্ষরটিকে অর্ধেকে বিভক্ত করার এবং উভয় বা উভয় বাইটের পরিবর্তে এই জাতীয় ক্ষেত্রে ফেলে দেবে।

মনে রাখবেন যে এই উত্তরটি তুচ্ছ নয় কারণ চরিত্রের এনকোডিংটি তুচ্ছ নয়। আপনি কী ধরণের বাইট অ্যারে চান তা নির্ভর করে কোন অক্ষর এনকোডিং আপনি সেই বাইটগুলি উপস্থাপন করতে চান।

জাভাস্ক্রিপ্টটিতে অভ্যন্তরীণভাবে ইউটিএফ -১ or বা ইউসিএস -২ ব্যবহার করার বিকল্প রয়েছে তবে যেহেতু এটির এমন পদ্ধতি রয়েছে যেগুলি ইউটিএফ -১ 16 এর মতো কাজ করে আমি কোনও ব্রাউজার কেন ইউসিএস -২ ব্যবহার করবে তা আমি দেখতে পাই না। এছাড়াও দেখুন: https://mathiasbynens.be/notes/javascript-encoding

হ্যাঁ আমি জানি প্রশ্নটি 4 বছরের পুরনো তবে আমার নিজের জন্য এই উত্তরটি দরকার ছিল।

Question 8

যেহেতু আমি উত্তরটি সম্পর্কে মন্তব্য করতে পারি না, তাই আমি জিন ইজারাইলের উত্তরটি তৈরি করব

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

এই বলে যে আপনি যদি আপনার ব্রাউজারে নোড.জেএস বাফার ব্যবহার করতে চান তবে আপনি এটি ব্যবহার করতে পারেন।

https://github.com/feross/buffer

সুতরাং, টম স্টিকেলের আপত্তি বৈধ নয়, এবং উত্তরটি অবশ্যই একটি বৈধ উত্তর।

Question 9

String.prototype.encodeHex = function () {
    return this.split('').map(e => e.charCodeAt())
};

String.prototype.decodeHex = function () {    
    return this.map(e => String.fromCharCode(e)).join('')
};

Question 10

ঘটনাস্থলে আমি যে সর্বোত্তম সমাধানটি নিয়ে এসেছি (সম্ভবত সম্ভবত অশোধিত) তা হ'ল:

String.prototype.getBytes = function() {
    var bytes = [];
    for (var i = 0; i < this.length; i++) {
        var charCode = this.charCodeAt(i);
        var cLen = Math.ceil(Math.log(charCode)/Math.log(256));
        for (var j = 0; j < cLen; j++) {
            bytes.push((charCode << (j*8)) & 0xFF);
        }
    }
    return bytes;
}

যদিও আমি লক্ষ্য করছি এই প্রশ্নটি এখানে এক বছরের বেশি সময় ধরে রয়েছে।

Question 11

আমি জানি প্রশ্নটি প্রায় 4 বছরের পুরানো, তবে এটিই আমার সাথে সুচারুভাবে কাজ করেছিল:

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

Array.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.toString().split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

স্নিপেট প্রসারিত করুন

বা, আপনি যদি কেবল স্ট্রিং দিয়ে কাজ করতে চান এবং কোনও অ্যারে না থেকে আপনি ব্যবহার করতে পারেন:

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes.toString();
};

String.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

স্নিপেট প্রসারিত করুন

Question 12

এখানে একই ফাংশনটি যা @ ব্রুনোএলএম একটি স্ট্রিং প্রোটোটাইপ ফাংশনে রূপান্তরিত করেছে:

String.prototype.getBytes = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

আপনি যদি ফাংশনটিকে এরূপ হিসাবে সংজ্ঞায়িত করেন, তবে আপনি কোনও স্ট্রিংয়ে .getBytes () পদ্ধতিতে কল করতে পারেন:

var str = "Hello World!";
var bytes = str.getBytes();

Question 13

আপনার আন্ডারস্কোর লাগবে না, কেবল অন্তর্নির্মিত মানচিত্রটি ব্যবহার করুন:

var string = 'Hello World!';

document.write(string.split('').map(function(c) { return c.charCodeAt(); }));