এসকিউএল সার্ভার থেকে ডেটা পুনরুদ্ধার সংক্রমণ জন্য সংকুচিত করা হয়?


20

মাইক্রোসফ্ট এসকিউএল সার্ভার থেকে প্রাপ্ত তথ্য কি সংকুচিত? এটি যদি সংযোগের স্ট্রিং দ্বারা নিয়ন্ত্রিত হয় তবে কোনও বিশেষ অ্যাপ্লিকেশন এটি ব্যবহার করছে কিনা তা বলার কোনও সহজ উপায় আছে?

আমি বিশ্লেষণ সরঞ্জামগুলি পরীক্ষা করছি এবং ডেটা ভলিউমটি আমাদের নেটওয়ার্কে সঞ্চার হতে কয়েক মিনিট সময় নিতে পারে। আমি ভাবছি যে একই দূরবর্তী সার্ভারে আমরা সংক্ষেপিত ডেটা স্টোর থেকে ডেটা টেনে নিলে আমার পারফরম্যান্স বৃদ্ধির আশা করা উচিত কিনা?

যতক্ষণ আমরা বিষয়টিতে আছি ততক্ষণ আমি আগ্রহী: ডেটা বাইনারি বা এএসসিআইআইতে সংক্রমণ করা হয়? উদাহরণস্বরূপ, মানটি যদি 12345একটি INTকলাম থেকে অনুসন্ধান করা হয় তবে তা কি পাঁচ বাইট 0x31, 0x32, 0x33, 0x34, 0x35 হিসাবে সংক্রমণিত হয়; মানের জন্য প্রয়োজনীয় দুটি বাইট; বা কলামের জন্য প্রয়োজনীয় চারটি বাইট?

স্পষ্টতই, আমি বুঝতে পারি যে সংকোচনের সাথে ডেটা সংরক্ষণ এবং এটির ব্যাক আপ সহ বিকল্প রয়েছে। আমি কীভাবে ডেটা সংক্রমণ হয় তা জিজ্ঞাসা করছি।


সংক্ষেপণ একটি অভ্যন্তরীণ প্রক্রিয়া। একটি পৃষ্ঠা ডিস্কে এবং বাফার পুলে সংক্ষেপিত তবে তারে নিয়মিত বাইট স্ট্রিম রয়েছে। @ শ্যাশনমেল্টন তারের ফর্ম্যাটটি আগেই স্নিগ্ধ করার বিষয়ে ব্লগ করেছেন এবং আশাবাদগুলি হাইলাইটগুলির সাথে প্রতিক্রিয়া জানাব।
মার্ক স্টোরি-স্মিথ

আমি যা লিখেছি তা এনক্রিপ্ট করা হয়েছে কিনা তার দিকে বেশি মনোনিবেশ করেছিল। আমি পাঠ্যযোগ্য ফর্ম্যাটে যে ডেটাটি টানছিলাম তা বাছাই করতে পারি, যদিও আমি পূর্ণসংখ্যার মানগুলির চেষ্টা করি নি। নিশ্চিতরূপে জানার একমাত্র উপায় হ'ল সেটআপ করে দেখুন: mssqltips.com/sqlservertip/2436/…
শন মেল্টন

@ মার্কস্টোরি-স্মিথ: তাহলে উত্তরটি "না", তথ্য সংকুচিত হয় না? এটি লজ্জাজনক, তবে কেন এই বড় প্রশ্নগুলি সংক্রমণে এত বেশি সময় নিতে পারে তা বোঝাতে সহায়তা করে। দেখে মনে হচ্ছে শারীরিকভাবে নিকটে থাকা আমার ক্যাশে দরকার need আপনি যদি এটি একটি আসল উত্তর করতে চান, আমি এটি গ্রহণ করব।
সমস্ত ট্রেডের জোন

@ শ্যাশনমেলটন: এটি অবশ্যই সঠিকভাবে করার মতো শোনাচ্ছে, ডান স্তরে পৌঁছানোর মতো যথেষ্ট নেটওয়ার্কিং ব্যাকগ্রাউন্ড আমার কাছে নেই এবং আমি যা দেখছি তাতে আত্মবিশ্বাসী। ভাগ্যক্রমে আমার জন্য এমন লোক রয়েছে যাদের হাতে আরও দক্ষতা এবং সময় রয়েছে!
সমস্ত ব্যবসায়ের জন

উত্তর:


16

আপনি যে ডেটাটি সংকুচিত করতে চাইছেন তা হ'ল টিডিএসের মাধ্যমে তারের মাধ্যমে প্রেরণ করা । এখানে কিছুটা ছোট ছোট কম্প্রেশন রয়েছে তবে পৃষ্ঠা / সারি সংক্ষেপণ, ব্যাকআপ সংক্ষেপণ বা কলামোস্টোর সংকোচনের সাথে আপনি যে ধরণের সংক্ষেপণ পান তা আর কোথাও নেই।

এটি আগে জিজ্ঞাসা করা হয়েছে:

http://connect.microsoft.com/SQLServer/feedback/details/412131/enable-network-compression-compress-tds-stream

http://connect.microsoft.com/SQLServer/feedback/details/377479/wan-compression-option

আইটেমগুলি এখনও উন্মুক্ত, তাই সম্ভবত কিছু আশা আছে। আমি যে সংযোগ স্ট্রিংটি দেখেছি তার মাধ্যমে এটি নিয়ন্ত্রণ করার কোনও উপায় নেই।

ইতিমধ্যে কিছু পণ্য রয়েছে যা এটি করার দাবি করে, যেমন

http://www.nitrosphere.com/products/nitroaccelerator/

http://toonel.net/tcpany.htm

আপনি সংক্ষেপে সমর্থন করার জন্য আপনার এসকিউএল সার্ভার এবং অ্যাপ্লিকেশন সার্ভারগুলির মধ্যে সম্ভাব্যভাবে নেটওয়ার্কটি কনফিগার করতে পারেন (এবং এনক্রিপশনের মতো অন্যান্য জিনিস) তবে আপনি এখানে আমার আওতার বাইরে, এবং আমি নিশ্চিত নই যে এটি এসকিউএলের প্রতিটি বৈশিষ্ট্য দ্বারা সমর্থিত হবে কিনা I'm সার্ভার।

এবং সত্যি কথা বলতে, আমি নিশ্চিত নই যে এটি সেই জায়গা যা আপনি অনুকূলকরণের দিকে মনোনিবেশ করতে চান। এই স্ট্রিমটি সংকুচিত করা আসলে জিনিসগুলি ধীর করে ফেলবে এবং কম বাইট প্রেরণের সুবিধা ছাড়িয়ে যাবে। আমি বরং এই ধরণের কাজের জন্য সময় ব্যয় করা এবং এর প্রকৃত কোনও সুবিধা রয়েছে কিনা তা পরীক্ষা করার চেয়ে সার্ভার এবং ক্লায়েন্ট (গুলি) এর মধ্যে আরও ভাল নেটওয়ার্ক সংযোগের জন্য অর্থটি নিমজ্জিত করেছিলাম - এবং পরবর্তীকালে এটি করতে সক্ষম না হয়ে। 10/100 থেকে গিগ ফাইবার পর্যন্ত নেটওয়ার্ক I / O- তে একটি পরিচিত এবং অনুমানযোগ্য প্রভাব ফেলে।


আমি তারের মাধ্যমে প্রেরিত বাইটের ফর্ম্যাট সম্পর্কে নিশ্চিত নই; আপনাকে তার জন্য এক ধরণের প্যাকেট স্নিফার সেট আপ করতে হবে (অথবা হতে পারে কেউ ইতিমধ্যে এটি করেছে এবং চিম ইন করবে)।

সংক্ষেপণের প্রভাব হিসাবে, যদি না আপনি ফিউশন-আইও বা অন্যান্য উচ্চ-শেষ এসএসডি-টাইপ সমাধানগুলিতে না থাকেন তবে আপনি অবশ্যই অবশ্যই I / O আবদ্ধ এবং সিপিইউ-আবদ্ধ নয়। সুতরাং যতক্ষণ না আপনার সিপিইউ ওভারহেড থাকবে, আপনার কম্প্রেশন সক্ষম করার সাথে দ্রুত পারফরম্যান্সটি দেখতে হবে (তবে এটি নেটওয়ার্কের কার্যকারিতা পরিবর্তন করবে না , যেহেতু সংক্রমণের আগে ডেটা সঙ্কুচিত করা হয়)। আমি বলছি যে আপনার সার্ভারগুলি, আপনার অ্যাপ্লিকেশন, আপনার ডেটা বা আপনার ব্যবহারের ধরণ সম্পর্কে কিছুই জেনে নাও - আপনার খুব ভাল ধারনা থাকতে পারে যেখানে কম্প্রেশন আসলে কার্য সম্পাদনকে আঘাত করে বা যেখানে সংক্ষিপ্ততর অনুপাতের জন্য কেবলমাত্র ডাটা ভাল প্রার্থী নয়।


কমপক্ষে 10 এমবি প্রেরণ করার সময় এটি অবশ্যই সমস্যাযুক্ত নেটওয়ার্ক। আমি আরডিপিতে সার্ভারে নিজেই সেকেন্ডে ডেটা জিজ্ঞাসা করতে পারি, কিন্তু বলেছি সার্ভারটি শারীরিকভাবে রাষ্ট্রের বাইরে অবস্থিত, এবং তাই ব্যবসায়ের অবস্থানের কোনও কম্পিউটারে ডেটা অনুলিপি করে - সাধারণ ফাইল অপারেটে বা আমার কাছে কম্পিউটার থেকে স্থানীয় জিজ্ঞাসা করে - কয়েক মিনিট সময় নেয়।
সমস্ত ট্রেডের জোন

সুতরাং আপনার অনুলিপি করা, আয়না বা অন্য কিছু হওয়া উচিত এবং অনুলিপি থেকে স্থানীয়ভাবে ডেটা জিজ্ঞাসা করা উচিত। শেষ ব্যবহারকারীরা এইভাবে বিলম্বিতা অনুভূত হয় না। আপনি কীভাবে এটি পৌঁছেছেন তা নির্ভর করে ডেটা কতটা তাজা হওয়া দরকার। এবং আপনার একসাথে 10 এমবি এম ডেটা অনুসন্ধান করার জন্য কোনও শেষ ব্যবহারকারী প্রয়োজন কিনা তাও।
অ্যারন বারট্রান্ড

যথাযথভাবে। যতক্ষণ না আমরা বিআই সার্ভারটি স্থানান্তরিত করতে পারি। তথ্যের পরিমাণ সম্পর্কে, বিশ্লেষণের জন্য (ক্লিকভিউ, এটিএম ব্যবহার করে) ব্যবহার করা হয়, তাই কয়েক বছরের ডেটা এবং প্রচুর মাত্রা এবং তথ্য facts ফাইলগুলি সংকোচনের সাথে 100 এমবি অবধি রয়েছে এবং এটি কেবল কয়েক বছরের ডেটা!
সমস্ত ট্রেডের জন

@ জোনফএলট্রেডস ম্যাথটি সর্বোত্তম উদ্দেশ্য নিয়ে ... মনে হচ্ছে আপনি ভুল সমস্যার সাথে ভুল সমাধানের চেষ্টা করছেন।
মার্ক স্টোরি-স্মিথ

@ মার্কস্টোরী-স্মিথ: বিকল্প কী? প্রচুর ডেটা রয়েছে এবং আমাদের WAN জুড়ে অ্যাক্সেস করতে ধীর। হারুন যেমন উল্লেখ করেছেন, একরকম স্থানীয় ক্যাশে সহায়তা করবে। প্রেরিত ডেটার পরিমাণকে হ্রাস করা ব্যবহারকারীর বিশ্লেষণের সুযোগ হ্রাস করবে, যা ভিজ্যুয়াল ডেটা আবিষ্কারের উদ্দেশ্যকে পরাস্ত করেছিল।
সমস্ত ট্রেডের জোন

4

মাইক্রোসফ্ট এসকিউএল সার্ভার থেকে প্রাপ্ত তথ্য কি সংকুচিত? এটি যদি সংযোগের স্ট্রিং দ্বারা নিয়ন্ত্রিত হয় তবে কোনও বিশেষ অ্যাপ্লিকেশন এটি ব্যবহার করছে কিনা তা বলার কোনও সহজ উপায় আছে?

প্রযুক্তিগতভাবে, ফলাফলগুলি খুব সামান্য সঙ্কুচিত হতে পারে ।

ট্যাবুলার ডেটা স্ট্রিম (টিডিএস) .3.৩ বি QL প্রথমে এসকিউএল সার্ভার ২০০৮ আর 2 দ্বারা সমর্থিত নাল বিটম্যাপ সংক্ষেপণের নামে এমন কিছু উপস্থাপন করেছিল যা নাল ক্ষেত্রের মানগুলির দ্বারা সাধারণভাবে প্রয়োজনীয় ন্যূনতম বাইট ব্যবহার করে সর্বাধিক নালগুলি সঞ্চারিত করে।

সার্ভারটি ফলাফল প্রেরণের সাথে সাথে তার পছন্দ অনুসারে নাল বিটম্যাপ সংক্ষেপিত সারিগুলির সাথে নিয়মিত সারিগুলি আন্তঃসংযোগ করতে পারে। ক্লায়েন্টের এর উপর কোনও নিয়ন্ত্রণ নেই তাই কোনও প্রাসঙ্গিক ক্লায়েন্ট-সাইড কনফিগারেশন বিকল্প উপলব্ধ নেই।

নাল বিটম্যাপটি বর্তমানে টিডিএস দ্বারা সমর্থিত একমাত্র সংকোচনের ফর্ম। যদি কোনও সারিটি নাল বিটম্যাপটি সংকুচিত না হয় তবে এটি সঙ্কুচিত পাঠানো হয়েছে।

যতক্ষণ আমরা বিষয়টিতে আছি ততক্ষণ আমি আগ্রহী: ডেটা বাইনারি বা এএসসিআইআইতে স্থানান্তরিত হয়?

টিডিএস প্রোটোকল দ্বারা সংজ্ঞায়িত বাইনারি ফর্ম্যাট ব্যবহার করে পাঠ্যবিহীন ডেটা প্রকার সহ কলামগুলি সঞ্চারিত হয়


2

অন্য কোথাও উল্লিখিত হিসাবে , এই ইস্যুটি সম্পর্কে কাজ করার জন্য আপনি একটি ভিপিএন স্থাপন এবং সংক্ষেপণ সক্ষম করার বিষয়টি বিবেচনা করতে পারেন।

অন্যরা যেমন বলেছে যে এসকিউএল সার্ভার টিডিএস প্রোটোকলে অন্তর্নির্মিত কোনও সংক্ষেপণ নেই। এটিও বলা বাহুল্য যে ডিফল্টরূপে কোনও এনক্রিপশনও নেই। এনক্রিপশন সক্ষম করতে আপনাকে অবশ্যই শংসাপত্রগুলি ব্যবহার করতে হবে এবং সংযোগের স্ট্রিংগুলিতে এটি নির্দিষ্ট করতে হবে।

উভয় সমস্যার সমাধানের সবচেয়ে সহজ সমাধান হ'ল এনক্রিপশন এবং সংক্ষেপণ সক্ষম হওয়া সহ একটি ভিপিএন টানেল খোলা। সরল মাইক্রোসফ্ট পিপিটিপি উভয় সমস্যার সমাধান করে এবং সেটআপ করা সহজ।


1

কেন কোনও স্থানীয় এসকিউএল উদাহরণ সেটআপ করবেন না যা প্রাসঙ্গিক ডেটা ক্যাশে করে এবং প্রতি n ঘন্টা সিঙ্ক করে? দেখার মতো অন্য বিষয়টি হ'ল কিউবগুলি প্রাক্পম্পিউট করা এবং যখন আপনি কোনও সারাংশ কক্ষে পৌঁছান তখন 'বিশদ পান' বোতামটি থাকে। এরপরে কেবল প্রাসঙ্গিক বিশদ সারিগুলি আনতে হবে।


আপনার প্রথম বাক্যটি এই মন্তব্যের মতো মনে হচ্ছে ।
অ্যারন বারট্র্যান্ড
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.