একটি জসনব কলামে জিন সূচক কেন আমার জিজ্ঞাসাটি কমিয়ে দিচ্ছে এবং আমি এটি সম্পর্কে কী করতে পারি?


10

পরীক্ষার ডেটা শুরু করুন:

CREATE EXTENSION IF NOT EXISTS pgcrypto;
CREATE TABLE docs (data JSONB NOT NULL DEFAULT '{}');
-- generate 200k documents, ~half with type: "type1" and another half with type: "type2", unique incremented index and random uuid per each row
INSERT INTO docs (data)
SELECT json_build_object('id', gen_random_uuid(), 'type', (CASE WHEN random() > 0.5 THEN 'type1' ELSE 'type2' END) ,'index', n)::JSONB
FROM generate_series(1, 200000) n;
-- inset one more row with explicit uuid to query by it later
INSERT INTO docs (data) VALUES (json_build_object('id', '30e84646-c5c5-492d-b7f7-c884d77d1e0a', 'type', 'type1' ,'index', 200001)::JSONB);

প্রথম ক্যোয়ারী - ডেটা-> টাইপ করুন এবং সীমা দ্বারা ফিল্টার করুন:

-- FAST ~19ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
LIMIT 25;
/* "Limit  (cost=0.00..697.12 rows=25 width=90) (actual time=0.029..0.070 rows=25 loops=1)"
   "  ->  Seq Scan on docs  (cost=0.00..5577.00 rows=200 width=90) (actual time=0.028..0.061 rows=25 loops=1)"
   "        Filter: (data @> '{"type": "type1"}'::jsonb)"
   "        Rows Removed by Filter: 17"
   "Planning time: 0.069 ms"
   "Execution time: 0.098 ms" 
*/

দ্বিতীয় ক্যোয়ারী - ডেটা-> টাইপ করে ফিল্টার করুন, ডেটা-> সূচক এবং সীমা দ্বারা আদেশ করুন

-- SLOW ~250ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index' -- added ORDER BY
LIMIT 25;

/* "Limit  (cost=5583.14..5583.21 rows=25 width=90) (actual time=236.750..236.754 rows=25 loops=1)"
   "  ->  Sort  (cost=5583.14..5583.64 rows=200 width=90) (actual time=236.750..236.750 rows=25 loops=1)"
   "        Sort Key: ((data -> 'index'::text))"
   "        Sort Method: top-N heapsort  Memory: 28kB"
   "        ->  Seq Scan on docs  (cost=0.00..5577.50 rows=200 width=90) (actual time=0.020..170.797 rows=100158 loops=1)"
   "              Filter: (data @> '{"type": "type1"}'::jsonb)"
   "              Rows Removed by Filter: 99842"
   "Planning time: 0.075 ms"
   "Execution time: 236.785 ms"
*/

তৃতীয় ক্যোয়ারী - দ্বিতীয় (পূর্ববর্তী) হিসাবে একই তবে ডেটা-> সূচকে বিটি ইনডেক্স সহ:

CREATE INDEX docs_data_index_idx ON docs ((data->'index'));

-- FAST ~19ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index' -- added BTREE index on this field
LIMIT 25;
/* "Limit  (cost=0.42..2473.98 rows=25 width=90) (actual time=0.040..0.125 rows=25 loops=1)"
   "  ->  Index Scan using docs_data_index_idx on docs  (cost=0.42..19788.92 rows=200 width=90) (actual time=0.038..0.119 rows=25 loops=1)"
   "        Filter: (data @> '{"type": "type1"}'::jsonb)"
   "        Rows Removed by Filter: 17"
   "Planning time: 0.127 ms"
   "Execution time: 0.159 ms"
*/

চতুর্থ ক্যোয়ারী - এখন ডেটা-> আইডি এবং সীমা = 1 দ্বারা ফিল্টার করুন:

-- SLOW ~116ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> ('{"id": "30e84646-c5c5-492d-b7f7-c884d77d1e0a"}')::JSONB -- querying by "id" field now
LIMIT 1;
/* "Limit  (cost=0.00..27.89 rows=1 width=90) (actual time=97.990..97.990 rows=1 loops=1)"
   "  ->  Seq Scan on docs  (cost=0.00..5577.00 rows=200 width=90) (actual time=97.989..97.989 rows=1 loops=1)"
   "        Filter: (data @> '{"id": "30e84646-c5c5-492d-b7f7-c884d77d1e0a"}'::jsonb)"
   "        Rows Removed by Filter: 189999"
   "Planning time: 0.064 ms"
   "Execution time: 98.012 ms"
*/ 

পঞ্চম ক্যোয়ারী - চতুর্থ হিসাবে একই তবে জিন (json_path_ops) ইনডেক্সে সূচক:

CREATE INDEX docs_data_idx ON docs USING GIN (data jsonb_path_ops);

-- FAST ~17ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> '{"id": "30e84646-c5c5-492d-b7f7-c884d77d1e0a"}'::JSONB -- added gin index with json_path_ops
LIMIT 1;
/* "Limit  (cost=17.55..20.71 rows=1 width=90) (actual time=0.027..0.027 rows=1 loops=1)"
   "  ->  Bitmap Heap Scan on docs  (cost=17.55..649.91 rows=200 width=90) (actual time=0.026..0.026 rows=1 loops=1)"
   "        Recheck Cond: (data @> '{"id": "30e84646-c5c5-492d-b7f7-c884d77d1e0a"}'::jsonb)"
   "        Heap Blocks: exact=1"
   "        ->  Bitmap Index Scan on docs_data_idx  (cost=0.00..17.50 rows=200 width=0) (actual time=0.016..0.016 rows=1 loops=1)"
   "              Index Cond: (data @> '{"id": "30e84646-c5c5-492d-b7f7-c884d77d1e0a"}'::jsonb)"
   "Planning time: 0.095 ms"
   "Execution time: 0.055 ms"
*/

ষষ্ঠ (এবং শেষ) ক্যোয়ারী - তৃতীয় ক্যোয়ারির সমান (ডেটা-> প্রকারের ক্যোয়ারী, ডেটা-> সূচক অনুসারে ক্রম):

-- SLOW AGAIN! ~224ms
EXPLAIN ANALYZE
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index'
LIMIT 25;
/* "Limit  (cost=656.06..656.12 rows=25 width=90) (actual time=215.927..215.932 rows=25 loops=1)"
   "  ->  Sort  (cost=656.06..656.56 rows=200 width=90) (actual time=215.925..215.925 rows=25 loops=1)"
   "        Sort Key: ((data -> 'index'::text))"
   "        Sort Method: top-N heapsort  Memory: 28kB"
   "        ->  Bitmap Heap Scan on docs  (cost=17.55..650.41 rows=200 width=90) (actual time=33.134..152.618 rows=100158 loops=1)"
   "              Recheck Cond: (data @> '{"type": "type1"}'::jsonb)"
   "              Heap Blocks: exact=3077"
   "              ->  Bitmap Index Scan on docs_data_idx  (cost=0.00..17.50 rows=200 width=0) (actual time=32.468..32.468 rows=100158 loops=1)"
   "                    Index Cond: (data @> '{"type": "type1"}'::jsonb)"
   "Planning time: 0.157 ms"
   "Execution time: 215.992 ms"
*/

সুতরাং মনে হয় যখন ডেটা কলামে জিন সূচক রয়েছে তখন সিক্সথ (তৃতীয় হিসাবে একই) কোয়েরিটি অনেক ধীর হয়। এটি সম্ভবত কারণ ডেটা-> টাইপ ফিল্ডের জন্য অনেকগুলি পৃথক মান নেই (কেবলমাত্র "টাইপ 1" বা "টাইপ 2")? আমি এটি সম্পর্কে কি করতে পারি? আমার অন্যান্য প্রশ্ন তৈরি করতে জিন ইনডেক্স দরকার যা এর সুফল পেতে পারে ...

উত্তর:


5

দেখে মনে হচ্ছে আপনি ইস্যুটি চালিয়ে গেছেন যে jsonbকলামগুলির সমতল 1% পরিসংখ্যান হার রয়েছে, এখানে যেমন রিপোর্ট করা হয়েছে jsonb এর পরিসংখ্যানের অভাবকে ঘিরে কাজ করছেন? । আপনার ক্যোয়ারী পরিকল্পনাগুলি দেখে অনুমান এবং প্রকৃত মৃত্যুদন্ডের মধ্যে পার্থক্য বিশাল। অনুমানগুলি বলছে সেখানে সম্ভবত 200 টি সারি রয়েছে এবং আসল রিটার্ন 100158 সারি রয়েছে যার ফলে পরিকল্পনাকারী অন্যদের চেয়ে কিছু নির্দিষ্ট কৌশলকে সমর্থন করে।

যেহেতু ষষ্ঠ ক্যোয়ারির পছন্দটি কোনও সূচক স্ক্যানের উপরে বিটম্যাপ সূচক স্ক্যানের পক্ষে নেমে এসেছে বলে মনে হয়, তাই আপনি পরিকল্পনাকারীকেও SET enable_bitmapscan=offআপনার তৃতীয় উদাহরণে যে আচরণটি করেছিলেন তা ফিরিয়ে আনার চেষ্টা করে দেখতে পারেন।

এটি আমার পক্ষে কীভাবে কাজ করেছে তা এখানে:

postgres@[local]:5432:postgres:=# EXPLAIN (ANALYZE, BUFFERS)
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index'
LIMIT 25;
                                                                QUERY PLAN                                                                 
-------------------------------------------------------------------------------------------------------------------------------------------
 Limit  (cost=656.06..656.12 rows=25 width=90) (actual time=117.338..117.343 rows=25 loops=1)
   Buffers: shared hit=3096
   ->  Sort  (cost=656.06..656.56 rows=200 width=90) (actual time=117.336..117.338 rows=25 loops=1)
         Sort Key: ((data -> 'index'::text))
         Sort Method: top-N heapsort  Memory: 28kB
         Buffers: shared hit=3096
         ->  Bitmap Heap Scan on docs  (cost=17.55..650.41 rows=200 width=90) (actual time=12.838..80.584 rows=99973 loops=1)
               Recheck Cond: (data @> '{"type": "type1"}'::jsonb)
               Heap Blocks: exact=3077
               Buffers: shared hit=3096
               ->  Bitmap Index Scan on docs_data_idx  (cost=0.00..17.50 rows=200 width=0) (actual time=12.469..12.469 rows=99973 loops=1)
                     Index Cond: (data @> '{"type": "type1"}'::jsonb)
                     Buffers: shared hit=19
 Planning time: 0.088 ms
 Execution time: 117.405 ms
(15 rows)

Time: 117.813 ms
postgres@[local]:5432:postgres:=# SET enable_bitmapscan = off;
SET
Time: 0.130 ms
postgres@[local]:5432:postgres:=# EXPLAIN (ANALYZE, BUFFERS)
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index'
LIMIT 25;
                                                               QUERY PLAN                                                               
----------------------------------------------------------------------------------------------------------------------------------------
 Limit  (cost=0.42..1320.48 rows=25 width=90) (actual time=0.017..0.050 rows=25 loops=1)
   Buffers: shared hit=4
   ->  Index Scan using docs_data_index_idx on docs  (cost=0.42..10560.94 rows=200 width=90) (actual time=0.015..0.045 rows=25 loops=1)
         Filter: (data @> '{"type": "type1"}'::jsonb)
         Rows Removed by Filter: 27
         Buffers: shared hit=4
 Planning time: 0.083 ms
 Execution time: 0.071 ms
(8 rows)

Time: 0.402 ms
postgres@[local]:5432:postgres:=#

আপনি যদি এই রুটে যেতে চাইছেন, তবে এই স্ক্যানটি কেবল এমন জিজ্ঞাসার জন্য অক্ষম করতে ভুলবেন না যা এই জাতীয় আচরণ দেখায়, অন্যথায়, আপনি অন্যান্য অনুসন্ধানের পরিকল্পনাগুলিতেও খারাপ আচরণ পাবেন। এরকম কিছু করার জন্য ঠিক কাজ করা উচিত:

BEGIN;
SET enable_bitmapscan=off;
SELECT * FROM docs
WHERE data @> '{"type": "type1"}'::JSONB
ORDER BY data->'index'
LIMIT 25;
SET enable_bitmapscan=on;
COMMIT;

আশা করি যে সাহায্য করে =)


আমি আপনাকে সঠিকভাবে বুঝতে পেরেছি কিনা তা নিশ্চিত নই (আমি পিজি ইন্টার্নালের সাথে পরিচিত নই) - এই আচরণটি জেসনব কলামে "টাইপ" ফিল্ডে নিম্ন কার্ডিনালিটির কারণে ঘটে (এবং অভ্যন্তরীণভাবে ফ্ল্যাট পরিসংখ্যানের হারের কারণে), তাই না? এবং এর অর্থ এইও যে, আমি যদি আমার ক্যোয়ারীটি অপ্টিমাইজ করতে চাই, আমি জেসনব ক্ষেত্রের আনুমানিক কার্ডিনালিটি জানতে হবে আমি সিদ্ধান্ত নেওয়ার জন্য জিজ্ঞাসা করছি যে আমার সক্ষম_বিটম্যাপস্ক্যান করা উচিত কিনা, ঠিক?
ব্যবহারকারী 606521

1
হ্যাঁ, আপনি উভয় বিবেচনায় এটি বুঝতে পেরেছেন। বেস 1% নির্বাচনীকরণটি WHEREজিন সূচকটিতে ধারাটিতে ক্ষেত্রটি দেখার পক্ষে রয়েছে কারণ এটি বিশ্বাস করে যে এটি কম সারিগুলি ফিরিয়ে দেবে, যা সত্য নয়। যেহেতু আপনি সারিগুলির সংখ্যাটি আরও ভালভাবে অনুমান করতে পারেন, আপনি দেখতে পাচ্ছেন যেহেতু আপনি করছেন ORDER BY data->'index' LIMIT 25, অন্য সূচকের প্রথম কয়েকটি এন্ট্রি স্ক্যান করা (50 বা তার বেশি, সারি ফেলে দেওয়া) এর ফলে আরও কম সারি হবে, তাই বলছেন পরিকল্পনাকারী এটি ব্যবহার করে দ্রুত ক্যোয়ারী পরিকল্পনার বিটম্যাপস্ক্যান ফলাফল ব্যবহার করার চেষ্টা করা উচিত নয়। আশা করি বিষয়গুলি পরিষ্কার হয়ে যাবে। =)
ক্যাসানড্রি

1
এখানে অতিরিক্ত স্পষ্ট করার তথ্য রয়েছে: databasesoup.com/2015/01/tag-all-things-part-3.html এবং এই উপস্থাপনায় thebuild.com/preferencesations/json2015-pgconfus.pdf পাশাপাশি সহায়তা করতে পারেন।
Kassandry

1
কেবল কাজই আমি জানি ওলেগ Bartunov, Tedor Sigaev, এবং আলেকজান্ডার Kotorov থেকে JsQuery এক্সটেনশন, এবং তার নির্বাচনশীলতা উন্নতি। যে কোনও ভাগ্যের সাথে, এটি এটিকে 9.6 বা তার পরে পোস্টগ্রেএসকিউএল কোরে পরিণত করে।
ক্যাসানড্রি

1
পোস্টগ্র্রেএসকিউএল কোর টিমের সদস্য জোশ বার্কাসের কাছ থেকে আমার উত্তরে আমি ইমেলের 1% চিত্রটি উদ্ধৃত করেছি। এ থেকে যেদিকে আসার জন্য আমার বর্তমানে আধ্যাত্মিক বিষয়গুলির চেয়ে অনেক বেশি অভ্যন্তরীন গভীর বোঝাপড়া দরকার sorry = (আপনি উত্তর দিতে pgsql-performance@postgresql.orgবা ফ্রেইনোড আইআরসি পরীক্ষা করে দেখতে পাচ্ছেন #postgresqlযে চিত্রটি এসেছে কোথা থেকে।
ক্যাসানড্রি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.