অদ্ভুত আচরণ ডিবিসিসি সঙ্কুচিত


9

আমি একটি ডাটাবেসের বিরুদ্ধে 1GB এর অংশগুলিতে একটি ডিবিসিসি সঙ্কোচফিল চালানোর চেষ্টা করছি যেখানে 95% তথ্য সংরক্ষণাগারভুক্ত এবং মুছে ফেলা হয়েছে। আমি একটি 235 জিবি ফাইলের সাথে বামে রয়েছি যেখানে 9 জিবি ডেটা / সূচী। আমি এটিকে 50 গিগাবাইটে সঙ্কুচিত করতে চাই। আমি জানি যে ডাটাবেস ফাইলগুলি সঙ্কুচিত করা খারাপ, এটি খণ্ডিতকরণ ইত্যাদি ঘটায় the ডেটা শুদ্ধি / সঙ্কুচিত করার অংশ হিসাবে আমাদের একটি পুনর্নির্মাণ ইডনেেক্স স্ক্রিপ্টও রয়েছে।

আমি যখন আমার নিজের ওয়ার্কস্টেশন (কোয়াড কোর, 12 গিগাবাইট র‌্যাম, 2 এক্স এসটিএ ড্রাইভ) এর ডাটাবেসের বিরুদ্ধে আমার ডিবিসিসি সঙ্কোচিত ফাইল স্ক্রিপ্টটি চালাচ্ছি, তখন সঙ্কোচনটি প্রায় 8-10 মিনিট সময় নেয়।

আমাদের পরীক্ষার এনভ্রিওমেন্টমেন্টে (80+ কোর, 128 গিগাবাইট র‌্যাম, এসএসডি সান) ডাটাবেস পোস্ট ডেটা পুঞ্জের অভিন্ন অনুলিপিটির বিরুদ্ধে অভিন্ন কোড চালানোর সময়, এটি 70 মিনিট সময় নেয়। মনে রাখবেন, সঙ্কুচিত ফাইল চলার সময় এই সার্ভারটিতে খুব কম কার্যকলাপ রয়েছে। এটি অভিন্ন ফলাফলের সাথে 4 বার চালানো হয়েছে।

তারপরে আমি বাকী 9 জিবিটিকে অন্য একটি ফাইলগ্রুপ এবং ফিজিক্যাল ফাইলে স্থানান্তরিত করার জন্য একটি ভিন্ন পন্থা নিয়েছি। খালি ২৩০ গিগাবাইট ফাইলের উপর ডিবিসিসি সঙ্কোচফিল চালাতে এটি আমার নিজের ওয়ার্কস্টেশনে <১ মিনিট সময় নেয় to

এই একই পদ্ধতির সাথে, পরীক্ষার পরিবেশে, এটি আবার 70+ মিনিট সময় নেয়।

আমি পরীক্ষার পরিবেশে minute০ মিনিটের রান চলাকালীন সময়ে এবং ব্রেন্ট ওজারের স্ক্রিপ্ট অনুসারে ওয়েটস্ট্যাটগুলির একটি স্ন্যাপশট নিয়েছি এবং ওয়েটিটাইপস কিছুই জানাতে না পেরে ফিরে এসেছিল। নীচে শীর্ষ 3 সারি:

সেকেন্ডে দ্বিতীয় স্যাম্পল সময় নমুনার সময়কাল অপেক্ষা_প্রকার অপেক্ষা অপেক্ষা সময় (সেকেন্ড) অপেক্ষা অপেক্ষা গড় এমএস
2013-05-28 11: 24: 22.893 3600 রাইটেলগ 160.8 143066 1.1
2013-05-28 11: 24: 22.893 3600 স্যাক্সপ্যাকেট 20.9 13915 1.5
2013-05-28 11: 24: 22.893 3600 PAGELATCH_EX 11.1 443038 0.0

উইন্ডোজ ইভেন্ট লগ অস্বাভাবিক কিছুই দেখায় না। আমি এই মুহুর্তে স্ক্র্যাচিংয়ের দিকে যাচ্ছি, কেন আমার স্ট্যান্ডেলোন ওয়ার্কস্টেশনের তুলনায় নিনজা হার্ডওয়্যারটিতে এটি এত বেশি সময় নিচ্ছে।


ডাটাবেসটি চেকপয়েন্ট করুন এবং তারপরে এটি চেষ্টা করুন।
কিন শাহ

সঙ্কুচিত হওয়ার আগে ল্যাচের পরিসংখ্যানগুলি সাফ করুন এবং দুটি মেশিনে শরনিকের পরে সেগুলি ক্যাপচার করুন। sys.dm_os_latch_stats
রিমাস রুসানু

এছাড়াও, @@versionউভয়ই
রেমাস রুসানু

ব্লব ডেটা বা স্বাভাবিক ডেটা মুছে ফেলা তথ্যটি কি ছিল? আপনার ওয়ার্কস্টেশনের অনুলিপিটি কি সেখানে মুছে ফেলা হয়েছে বা আপনি কিউএ সিস্টেম পোস্ট মুছে ফেলা ব্যাকআপ করে তা আবার আপনার মেশিনে পুনরুদ্ধার করেছেন?
mrdenny

উত্তর:


4

একটি ডেটা ফাইলের উপর সঙ্কোচন একটি একক থ্রেডেড ক্রিয়াকলাপ, একটি ছোট মেমোরি বাফার পুনরায় ব্যবহার করে।

সুতরাং নিনজা হার্ডওয়্যার অতিরিক্ত মেমরি এবং 80 টি কোর দিয়ে একটি কিনারা পায় নি।

আপনার স্থানীয় পিসিতে তবে স্থানীয় আই / ও ল্যাটেন্সি (লোকাল ডিস্ক, অর্থাৎ সানকে একাধিক ট্রিপ না করা) সুবিধা রয়েছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.