মাইএসকিউএল "IN" অপারেটরের কার্যকারিতা (বৃহত্তর?) সংখ্যার মানগুলিতে

Question 1

আমি ইদানীং রেডিস এবং মঙ্গোডিবি নিয়ে পরীক্ষা-নিরীক্ষা করেছি এবং মনে হয় প্রায়শই এমন ঘটনা ঘটে যা আপনি মংগোডিবি বা রেডিসের মধ্যে আইডির একটি অ্যারে সংরক্ষণ করবেন । আমি এই প্রশ্নের জন্য রেডিসের সাথে থাকব যেহেতু আমি মাইএসকিউএল ইন অপারেটর সম্পর্কে জিজ্ঞাসা করছি ।

আমি ভাবছিলাম যে IN অপারেটরের ভিতরে আইডি এর একটি বৃহত সংখ্যক (300-3000) তালিকাবদ্ধ করা কতটা পারফরম্যান্ট , যা এরকম কিছু দেখবে:

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)

কোনও পণ্য এবং বিভাগের টেবিলের মতো সহজ কিছু কল্পনা করুন যা আপনি সাধারণত কোনও নির্দিষ্ট বিভাগ থেকে পণ্যগুলি পেতে একসাথে যোগদান করতে পারেন । উপরের উদাহরণে আপনি দেখতে পারেন যে রেডিসে প্রদত্ত বিভাগের অধীনে ( ) আমি আইডি 4 সহ বিভাগ থেকে সমস্ত পণ্য আইডিকে ফিরিয়ে দেব এবং সেগুলি অপারেটরের অভ্যন্তরে উপরের ক্যোয়ারিতে রাখি ।category:4:product_idsSELECTIN

এটি কতটা পারফরম্যান্ট?

এটি কি "এটি নির্ভর করে" পরিস্থিতি? বা একটি কংক্রিট "এটি (আন) গ্রহণযোগ্য" বা "দ্রুত" বা "ধীর" আছে বা আমার একটি যুক্ত করা উচিত LIMIT 25, বা সে সাহায্য করে না?

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)
LIMIT 25

অথবা আমি রেডিসের দ্বারা প্রদত্ত প্রোডাক্ট আইডিটির অ্যারেটি ছাঁটাই করে 25 টি সীমাবদ্ধ করে কেবল 3000 এর চেয়ে 25 আইডি যুক্ত করা উচিত এবং কোয়েরির LIMITভিতরে থেকে 25-এ করা উচিত?

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 25)

কোন পরামর্শ / প্রতিক্রিয়া অনেক প্রশংসা করা হয়!

Question 2

সাধারণভাবে বলতে গেলে, যদি INতালিকাটি খুব বড় হয়ে যায় ('খুব বড়' এর কিছু অ-সংজ্ঞায়িত মানের জন্য যা সাধারণত 100 বা তার চেয়ে ছোট অঞ্চলে থাকে), এটি একটি যোগদান ব্যবহার করা আরও দক্ষ হয়ে ওঠে, প্রয়োজনের সাথে একটি অস্থায়ী টেবিল তৈরি করে সংখ্যা রাখা।

যদি নম্বরগুলি একটি ঘন সেট হয় (কোনও ফাঁক নেই - যা নমুনা ডেটার পরামর্শ দেয়), তবে আপনি আরও ভাল করে এটি করতে পারেন WHERE id BETWEEN 300 AND 3000।

যাইহোক, সম্ভবত সেটটিতে ফাঁক রয়েছে, যার পরে সর্বোপরি বৈধ মানগুলির তালিকার সাথে চলে যাওয়া ভাল (ফাঁকগুলি অপেক্ষাকৃত সংখ্যায় কম না হলে, আপনি যে ক্ষেত্রে ব্যবহার করতে পারেন)

WHERE id BETWEEN 300 AND 3000 AND id NOT BETWEEN 742 AND 836

বা ফাঁক যাই হোক না কেন।

Question 3

আমি কিছু পরীক্ষা করে যাচ্ছি, এবং ডেভিড ফেলস তার উত্তরে যেমন বলেছেন , এটি বেশ ভালভাবেই অনুকূলিত হয়েছে। একটি রেফারেন্স হিসাবে, আমি 1,000,000 রেজিস্টার সহ একটি ইনোডিবি টেবিল তৈরি করেছি এবং 500,000 এলোমেলো সংখ্যার সাথে "IN" অপারেটরের সাথে একটি নির্বাচন করছি, এটি আমার ম্যাকের জন্য মাত্র 2.5 সেকেন্ড সময় নেয়; কেবল সমান নিবন্ধগুলি নির্বাচন করতে 0.5 সেকেন্ড সময় লাগে।

আমার একটাই সমস্যা ছিল যে আমাকে ফাইল max_allowed_packetথেকে প্যারামিটার বাড়াতে হয়েছিল my.cnf। যদি তা না হয় তবে একটি রহস্যজনক "MYSQL চলে গেছে" ত্রুটি উত্পন্ন হয়েছে।

আমি এই পরীক্ষার জন্য পিএইচপি কোড ব্যবহার করি:

$NROWS =1000000;
$SELECTED = 50;
$NROWSINSERT =15000;

$dsn="mysql:host=localhost;port=8889;dbname=testschema";
$pdo = new PDO($dsn, "root", "root");
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

$pdo->exec("drop table if exists `uniclau`.`testtable`");
$pdo->exec("CREATE  TABLE `testtable` (
        `id` INT NOT NULL ,
        `text` VARCHAR(45) NULL ,
        PRIMARY KEY (`id`) )");

$before = microtime(true);

$Values='';
$SelValues='(';
$c=0;
for ($i=0; $i<$NROWS; $i++) {
    $r = rand(0,99);
    if ($c>0) $Values .= ",";
    $Values .= "( $i , 'This is value $i and r= $r')";
    if ($r<$SELECTED) {
        if ($SelValues!="(") $SelValues .= ",";
        $SelValues .= $i;
    }
    $c++;

    if (($c==100)||(($i==$NROWS-1)&&($c>0))) {
        $pdo->exec("INSERT INTO `testtable` VALUES $Values");
        $Values = "";
        $c=0;
    }
}
$SelValues .=')';
echo "<br>";


$after = microtime(true);
echo "Insert execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);  
$sql = "SELECT count(*) FROM `testtable` WHERE id IN $SelValues";
$result = $pdo->prepare($sql);  
$after = microtime(true);
echo "Prepare execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);

$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Random selection = $c Time execution time =" . ($after-$before) . "s<br>";



$before = microtime(true);

$sql = "SELECT count(*) FROM `testtable` WHERE id %2 = 1";
$result = $pdo->prepare($sql);
$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Pairs = $c Exdcution time=" . ($after-$before) . "s<br>";

এবং ফলাফল:

Insert execution time =35.2927210331s
Prepare execution time =0.0161771774292s
Random selection = 499102 Time execution time =2.40285992622s
Pairs = 500000 Exdcution time=0.465420007706s

Question 4

আপনি একটি অস্থায়ী টেবিল তৈরি করতে পারেন যেখানে আপনি যে কোনও সংখ্যক আইডি রাখতে এবং নেস্টেড কোয়েরি চালাতে পারেন উদাহরণ:

CREATE [TEMPORARY] TABLE tmp_IDs (`ID` INT NOT NULL,PRIMARY KEY (`ID`));

এবং নির্বাচন করুন:

SELECT id, name, price
FROM products
WHERE id IN (SELECT ID FROM tmp_IDs);

Question 5

INরেকর্ডগুলির একটি বৃহত তালিকায় একটি বড় পরামিতি সেট সহ ব্যবহার করা আসলে ধীর হবে।

আমি সম্প্রতি যে সমস্যার সমাধান করেছি সে ক্ষেত্রে আমার দুটি দফা ছিল, একটিতে ২,৫০ প্যারামিটার এবং অন্যটি ৩,৫০০ পরামিতি সহ, ৪০ মিলিয়ন রেকর্ডের একটি সারণী জিজ্ঞাসা করছে।

আমার জিজ্ঞাসাটি স্ট্যান্ডার্ডটি ব্যবহার করে 5 মিনিট সময় নিয়েছিল WHERE IN। আইএন স্টেটমেন্টের জন্য সাবকিউরিটি ব্যবহার না করে (প্যারামিটারগুলি তাদের নিজস্ব ইনডেক্সড টেবিলের মধ্যে রেখে), আমি কোয়েরিটি দুটি সেকেন্ডে পেয়েছি।

আমার অভিজ্ঞতায় মাইএসকিউএল এবং ওরাকল উভয়ের পক্ষে কাজ করেছেন।

Question 6

INভাল, এবং ভাল অনুকূলিতকরণ। নিশ্চিত হয়ে নিন যে আপনি এটি কোনও সূচকযুক্ত ক্ষেত্রে ব্যবহার করেছেন এবং আপনি ভাল আছেন।

এটি কার্যত সমান:

(x = 1 OR x = 2 OR x = 3 ... OR x = 99)

যতদূর ডিবি ইঞ্জিন সম্পর্কিত।

Question 7

আপনি যখন INঅপারেটরের জন্য অনেকগুলি মান সরবরাহ করেন তখন ডুপ্লিকেটগুলি সরানোর জন্য প্রথমে এটি বাছাই করতে হবে। কমপক্ষে আমি সন্দেহ করি। সুতরাং অনেকগুলি মান প্রদান করা ভাল হবে না, কারণ বাছাই করতে এন লগ এন সময় লাগে।

আমার অভিজ্ঞতা প্রমাণ করেছে যে মানগুলির সেটটিকে ছোট ছোট সাবসেটে বিভক্ত করা এবং অ্যাপ্লিকেশনটিতে থাকা সমস্ত প্রশ্নের ফলাফলের সংমিশ্রণ সেরা পারফরম্যান্স দেয়। আমি স্বীকার করি যে আমি একটি পৃথক ডাটাবেসে (প্রচলিত) অভিজ্ঞতা সংগ্রহ করেছি, তবে এটি একই সাথে সমস্ত ইঞ্জিনের ক্ষেত্রে প্রযোজ্য। আমার প্রতি সেট মানগুলির সংখ্যা 500-1000 ছিল। কমবেশি উল্লেখযোগ্যভাবে ধীর ছিল।