পোস্টগ্রিসএসকিউএল এবং ব্রিন সূচী
এটি নিজের জন্য পরীক্ষা করুন। এটি একটি এসএসডি সহ 5 বছরের পুরানো ল্যাপটপে কোনও সমস্যা নয়।
EXPLAIN ANALYZE
CREATE TABLE electrothingy
AS
SELECT
x::int AS id,
(x::int % 20000)::int AS locid, -- fake location ids in the range of 1-20000
now() AS tsin, -- static timestmap
97.5::numeric(5,2) AS temp, -- static temp
x::int AS usage -- usage the same as id not sure what we want here.
FROM generate_series(1,1728000000) -- for 1.7 billion rows
AS gs(x);
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------
Function Scan on generate_series gs (cost=0.00..15.00 rows=1000 width=4) (actual time=173119.796..750391.668 rows=1728000000 loops=1)
Planning time: 0.099 ms
Execution time: 1343954.446 ms
(3 rows)
সুতরাং টেবিলটি তৈরি করতে এটি 22 মিনিট সময় নিয়েছে। বড় আকারে, কারণ টেবিলটি একটি পরিমিত 97GB। এরপরে আমরা সূচকগুলি তৈরি করব,
CREATE INDEX ON electrothingy USING brin (tsin);
CREATE INDEX ON electrothingy USING brin (id);
VACUUM ANALYZE electrothingy;
সূচকগুলি তৈরি করতে এটি বেশ ভাল সময় নিয়েছে। যদিও তারা ব্রিন হওয়ায় তারা কেবল ২-৩ এমবি এবং তারা সহজেই র্যামে সঞ্চয় করে। 96 গিগাবাইট পড়া তাত্ক্ষণিক নয়, তবে এটি আপনার কাজের চাপে আমার ল্যাপটপের ক্ষেত্রে আসল সমস্যা নয়।
এখন আমরা এটি জিজ্ঞাসা।
explain analyze
SELECT max(temp)
FROM electrothingy
WHERE id BETWEEN 1000000 AND 1001000;
QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------
Aggregate (cost=5245.22..5245.23 rows=1 width=7) (actual time=42.317..42.317 rows=1 loops=1)
-> Bitmap Heap Scan on electrothingy (cost=1282.17..5242.73 rows=993 width=7) (actual time=40.619..42.158 rows=1001 loops=1)
Recheck Cond: ((id >= 1000000) AND (id <= 1001000))
Rows Removed by Index Recheck: 16407
Heap Blocks: lossy=128
-> Bitmap Index Scan on electrothingy_id_idx (cost=0.00..1281.93 rows=993 width=0) (actual time=39.769..39.769 rows=1280 loops=1)
Index Cond: ((id >= 1000000) AND (id <= 1001000))
Planning time: 0.238 ms
Execution time: 42.373 ms
(9 rows)
টাইমস্ট্যাম্পগুলি সহ আপডেট করুন
সূচকের অনুরোধটি সন্তুষ্ট করতে এবং টাইমস্ট্যাম্প কলামে অনুসন্ধানের জন্য আমরা এখানে বিভিন্ন টাইমস্ট্যাম্প সহ একটি টেবিল তৈরি করি, সৃষ্টি কিছুটা সময় নেয় কারণ to_timestamp(int)যথেষ্ট পরিমাণে ধীর now()(যা লেনদেনের জন্য ক্যাশে থাকে)
EXPLAIN ANALYZE
CREATE TABLE electrothingy
AS
SELECT
x::int AS id,
(x::int % 20000)::int AS locid,
-- here we use to_timestamp rather than now(), we
-- this calculates seconds since epoch using the gs(x) as the offset
to_timestamp(x::int) AS tsin,
97.5::numeric(5,2) AS temp,
x::int AS usage
FROM generate_series(1,1728000000)
AS gs(x);
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------
Function Scan on generate_series gs (cost=0.00..17.50 rows=1000 width=4) (actual time=176163.107..5891430.759 rows=1728000000 loops=1)
Planning time: 0.607 ms
Execution time: 7147449.908 ms
(3 rows)
এখন আমরা পরিবর্তে টাইমস্ট্যাম্প মানটিতে একটি ক্যোয়ারী চালাতে পারি,
explain analyze
SELECT count(*), min(temp), max(temp)
FROM electrothingy WHERE tsin BETWEEN '1974-01-01' AND '1974-01-02';
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------------------
Aggregate (cost=296073.83..296073.84 rows=1 width=7) (actual time=83.243..83.243 rows=1 loops=1)
-> Bitmap Heap Scan on electrothingy (cost=2460.86..295490.76 rows=77743 width=7) (actual time=41.466..59.442 rows=86401 loops=1)
Recheck Cond: ((tsin >= '1974-01-01 00:00:00-06'::timestamp with time zone) AND (tsin <= '1974-01-02 00:00:00-06'::timestamp with time zone))
Rows Removed by Index Recheck: 18047
Heap Blocks: lossy=768
-> Bitmap Index Scan on electrothingy_tsin_idx (cost=0.00..2441.43 rows=77743 width=0) (actual time=40.217..40.217 rows=7680 loops=1)
Index Cond: ((tsin >= '1974-01-01 00:00:00-06'::timestamp with time zone) AND (tsin <= '1974-01-02 00:00:00-06'::timestamp with time zone))
Planning time: 0.140 ms
Execution time: 83.321 ms
(9 rows)
ফলাফল:
count | min | max
-------+-------+-------
86401 | 97.50 | 97.50
(1 row)
সুতরাং 83.321 এমএসে আমরা 1.7 বিলিয়ন সারি সহ একটি টেবিলের মধ্যে 86,401 রেকর্ডকে একত্রিত করতে পারি। এটা যুক্তিযুক্ত হওয়া উচিত।
ঘন্টা শেষ
ঘন্টা শেষ হওয়ার গণনা করা খুব সহজ, টাইমস্ট্যাম্পগুলি কেটে ফেলুন এবং তারপরে কেবল একটি ঘন্টা যুক্ত করুন।
SELECT date_trunc('hour', tsin) + '1 hour' AS tsin,
count(*),
min(temp),
max(temp)
FROM electrothingy
WHERE tsin >= '1974-01-01'
AND tsin < '1974-01-02'
GROUP BY date_trunc('hour', tsin)
ORDER BY 1;
tsin | count | min | max
------------------------+-------+-------+-------
1974-01-01 01:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 02:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 03:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 04:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 05:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 06:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 07:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 08:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 09:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 10:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 11:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 12:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 13:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 14:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 15:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 16:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 17:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 18:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 19:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 20:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 21:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 22:00:00-06 | 3600 | 97.50 | 97.50
1974-01-01 23:00:00-06 | 3600 | 97.50 | 97.50
1974-01-02 00:00:00-06 | 3600 | 97.50 | 97.50
(24 rows)
Time: 116.695 ms
এটি লক্ষণীয় গুরুত্বপূর্ণ, এটি সমষ্টিতে কোনও সূচক ব্যবহার করছে না, যদিও তা পারে। যদি এটি আপনার সাধারণভাবে জিজ্ঞাসিত হয় তবে আপনি সম্ভবত date_trunc('hour', tsin)এতে একটি ব্রিন চান তবে এটির মধ্যে একটি ছোট সমস্যা রয়েছে যা date_truncঅপরিবর্তনীয় নয় তাই আপনাকে এটি তৈরির জন্য প্রথমে এটি আবৃত করতে হবে।
পার্টিশন নির্মাণ প্রক্রিয়ার
পোস্টগ্রিসএসকিউএল সম্পর্কিত আরও একটি গুরুত্বপূর্ণ বিষয় হ'ল পিজি 10 বিভাজনকারী ডিডিএল আনবে । সুতরাং আপনি উদাহরণস্বরূপ, সহজেই প্রতি বছর পার্টিশন তৈরি করতে পারেন। আপনার পরিমিত ডাটাবেসটিকে অতি ক্ষুদ্রতর মধ্যে ভাঙ্গা। এটি করার ক্ষেত্রে, আপনি ব্রিনের চেয়ে বিট্রি সূচকগুলি ব্যবহার এবং পরিচালনা করতে সক্ষম হবেন যা আরও দ্রুত হবে which
CREATE TABLE electrothingy_y2016 PARTITION OF electrothingy
FOR VALUES FROM ('2016-01-01') TO ('2017-01-01');
বা যাই হোক না কেন.