BLOB ডেটার জন্য BCP পারফরম্যান্স অনুকূল করা


13

আমি পার্টিশনযুক্ত টেবিলগুলিতে 2TB ডাটাবেসটির লাইভ মাইগ্রেশন পরিকল্পনা করার প্রক্রিয়া। সিস্টেমটি মূলত একটি ডকুমেন্ট স্টোরের কথা বলছে, বেশিরভাগ স্থান 500kb থেকে 1MB পরিসরে একটি ছোট শতাংশের সাথে 50kb এবং 500kb এর মধ্যে এলওবিগুলিতে বরাদ্দ করা হচ্ছে। মাইগ্রেশনের অংশটি পুরানো থেকে নতুন ডাটাবেসগুলিতে বিসিপিং ডেটা জড়িত।

বিসিপি হ'ল লাইভ সিস্টেমের উপর প্রভাব হ্রাস করে, চূড়ান্ত স্যুইচ এর আগে পর্যায়ে (শান্ত সময়ের মধ্যে) পুরানো ডেটা উত্তোলনের অনুমতি হিসাবে তথ্যের বর্তমান / historicতিহাসিক বিভাজন হিসাবে পছন্দসই পদ্ধতি। ডেটার পরিমাণ এবং সঞ্চয়স্থানের প্রাপ্যতা একটি পার্টিশন স্কিমের পুনরায় বিলম্বিত ইন-সিটু অন্তর্ভুক্ত করে

আমার সন্দেহ হয় BLOB সামগ্রীর কারণে ROWS_PER_BATCH এর চেয়ে KILOBYTES_PER_BATCH এর চেয়ে পরীক্ষা করে কিছু পারফরম্যান্স লাভ হতে পারে। এটি বিসিপি ডকুমেন্টেশনে প্রস্তাবিত যে এসকিউএল এই মানের উপর ভিত্তি করে ক্রিয়াকলাপ অনুকূল করতে পারে।

আমি যা খুঁজে পাচ্ছি না তা হ'ল এই অপটিমাইজেশনের প্রকৃতি বা কোথায় আমার পরীক্ষা শুরু করা যায় সে সম্পর্কে কোনও গাইডেন্স। পরামর্শের অবহেলায় আমি শুরু করতে 4/8/16/32 / 64mb সীমানায় সংক্ষিপ্ত রান চেষ্টা করব।

প্যাকেটের আকার পরিবর্তন (বিসিপি -a প্যারামিটার, সার্ভার স্তর বিন্যাসের পরিবর্তে) পরিবর্তন করা থেকে সম্ভবত কিছু লাভ হতে পারে তবে কারও কাছে সূত্রগত পদ্ধতির না থাকলে আমি এটিকে সর্বাধিক 65535 এ ধাক্কা দিতে চাইছি।

উত্তর:


12

এটি আপনার প্রশ্নের সরাসরি উত্তর নয়, তবে কিছু নিবন্ধ রয়েছে যা সেগুলি পড়ে আপনি উপকৃত হবেন (যদি আপনি তাদের প্রথমটি খুঁজে পান না :-))। তারা বিসিপি / বাল্ক কপি ব্যবহার করে প্রচুর ডেটা লোড করছে। আমি এগুলি সব পড়েছি এবং আমি KILOBYTES_PER_BATCH সম্পর্কিত কোনও বিশদ খুঁজে পাইনি, তারা সবাই ROWS_PER_BATCH ব্যবহার করছে তবে আমি নিশ্চিত যে আপনি অন্যান্য দরকারী তথ্য পাবেন।

এবং সুস্পষ্ট এমএসডিএন উল্লেখগুলি:

আমার ব্যক্তিগত অভিজ্ঞতায় আমি বেশ কয়েকটি ব্যাচের আকারের সাথে সমান্তরাল লোড ব্যবহার করে এবং পরীক্ষা করে একটি দ্রুত ডেটা লোড তৈরি করতে সক্ষম হয়েছি। আমি অনুমান করি যে কেবলমাত্র ব্যক্তিগত পরীক্ষা আপনার পক্ষে উপযুক্ত হবে। আশা করি রেফারেন্সগুলিতে আপনি কিছু ভাল পরামর্শ পাবেন।


আপনাকে ধন্যবাদ মারিয়ান, আমি সেই সম্পূর্ণ তালিকা থেকে কয়েকটি নতুন অনুসন্ধান বুকমার্ক করেছি। ওয়ান অফ টাস্ক হিসাবে, অনেকগুলি ইনক্রিমেন্টাল / রিফাইনিং পদক্ষেপগুলি দরকারী নয় তবে সেখানে আমি প্রচুর টিপস ব্যবহার করতে পারি।
মার্ক স্টোরি-স্মিথ

হ্যাঁ, আমি আপনার অনুভূতিটি পেয়েছি, আমার জন্যও এটি একটি সময়ের কাজ ছিল এবং তালিকায় কিছু দরকারী জিনিস খুঁজে পেয়েছি। যদিও এটি দুর্দান্ত কাজ :-)। আপনি একটি ছোট নেট নেট অ্যাপ্লিকেশনও করতে পারেন (আপনি যদি নেট। এর সাথে পরিচিত হন) যেমন লিঞ্চি শেয়ার অন্য একটি নিবন্ধের মতো: পারফরম্যান্স ইমপ্যাক্ট: সর্বাধিক অনুকূল সন্নিবেশ স্ক্রিপ্ট বাল্ককপি বীট করতে পারে না । তিনি যেমনটি করেছেন :-) আপনি দেখতে পাবেন।
মেরিয়ান

যেহেতু মনে হয় না যে কোনও বিলিওবি সুনির্দিষ্ট নির্দেশনা বিসিপি-র জন্য খুঁজে পাওয়া যাচ্ছে না, তাই আমি স্বীকৃত হিসাবে আপনার খুব গভীর উত্তর চিহ্নিত করছি। আবার ধন্যবাদ.
মার্ক স্টোরী-স্মিথ

দুঃখিত আমি আপনাকে আরও সাহায্য করতে পারি না তবে আমি আশা করি আপনি এটিতে দরকারী কিছু পেয়েছেন।
মারিয়ান
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.