সন্তানের সারিগুলির অভিন্ন সেট রয়েছে এমন প্যারেন্ট সারিগুলি সন্ধান করুন


9

ধরুন আমার এর মতো কাঠামো আছে:

রেসিপি টেবিল

RecipeID
Name
Description

রেসিপিআইগ্রেডিয়েন্টস টেবিল

RecipeID
IngredientID
Quantity
UOM

কীটি RecipeIngredientsহচ্ছে (RecipeID, IngredientID)

সদৃশ রেসিপিগুলি আবিষ্কার করার জন্য কিছু ভাল উপায় কী কী? একটি অনুলিপি রেসিপি প্রতিটি উপাদান জন্য উপাদান এবং পরিমাণের সঠিক সেট হিসাবে সংজ্ঞায়িত করা হয়।

আমি FOR XML PATHউপাদানগুলি একক কলামে একত্রিত করতে ব্যবহার করার কথা ভেবেছি । আমি এটি সম্পূর্ণরূপে অন্বেষণ করি নি তবে আমি যদি নিশ্চিত হয়েছি যে উপাদানগুলি / ইউওএম / পরিমাণগুলি একই ক্রম অনুসারে বাছাই করা হয়েছে এবং একটি সঠিক বিভাজক রয়েছে it আরও ভাল পদ্ধতির আছে?

48K রেসিপি এবং 200K উপাদান সারি রয়েছে।

উত্তর:


7

নিম্নলিখিত অনুমিত স্কিমা এবং উদাহরণ ডেটা জন্য

CREATE TABLE dbo.RecipeIngredients
    (
      RecipeId INT NOT NULL ,
      IngredientID INT NOT NULL ,
      Quantity INT NOT NULL ,
      UOM INT NOT NULL ,
      CONSTRAINT RecipeIngredients_PK 
          PRIMARY KEY ( RecipeId, IngredientID ) WITH (IGNORE_DUP_KEY = ON)
    ) ;

INSERT INTO dbo.RecipeIngredients
SELECT TOP (210000) ABS(CRYPT_GEN_RANDOM(8)/50000),
                     ABS(CRYPT_GEN_RANDOM(8) % 100),
                     ABS(CRYPT_GEN_RANDOM(8) % 10),
                     ABS(CRYPT_GEN_RANDOM(8) % 5)
FROM master..spt_values v1,                     
     master..spt_values v2


SELECT DISTINCT RecipeId, 'X' AS Name
INTO Recipes 
FROM  dbo.RecipeIngredients 

এই 205,009 উপাদান সারি এবং 42,613 রেসিপি জনবহুল। এলোমেলো উপাদানগুলির কারণে এটি প্রতিবার কিছুটা আলাদা হবে।

এটি তুলনামূলকভাবে কয়েকটি দ্বৈত ধারণা নিয়েছে (উদাহরণ হিসাবে রান করার পরে আউটপুটটি ছিল প্রতি গ্রুপে দুই বা তিনটি রেসিপি সহ 217 সদৃশ রেসিপি গ্রুপ)। ওপিতে প্রাপ্ত পরিসংখ্যানগুলির উপর ভিত্তি করে সর্বাধিক প্যাথলজিকাল কেসটি হবে 48,000 হুবহু নকল।

সেট আপ করার জন্য একটি স্ক্রিপ্ট

DROP TABLE dbo.RecipeIngredients,Recipes
GO

CREATE TABLE Recipes(
RecipeId INT IDENTITY,
Name VARCHAR(1))

INSERT INTO Recipes 
SELECT TOP 48000 'X'
FROM master..spt_values v1,                     
     master..spt_values v2

CREATE TABLE dbo.RecipeIngredients
    (
      RecipeId INT NOT NULL ,
      IngredientID INT NOT NULL ,
      Quantity INT NOT NULL ,
      UOM INT NOT NULL ,
      CONSTRAINT RecipeIngredients_PK 
          PRIMARY KEY ( RecipeId, IngredientID )) ;

INSERT INTO dbo.RecipeIngredients
SELECT RecipeId,IngredientID,Quantity,UOM
FROM Recipes
CROSS JOIN (SELECT 1,1,1 UNION ALL SELECT 2,2,2 UNION ALL  SELECT 3,3,3 UNION ALL SELECT 4,4,4) I(IngredientID,Quantity,UOM)

নিম্নলিখিত দুটি ক্ষেত্রেই আমার মেশিনে এক সেকেন্ডেরও কম সময়ে সম্পন্ন হয়েছে।

CREATE TABLE #Concat
  (
     RecipeId     INT,
     concatenated VARCHAR(8000),
     PRIMARY KEY (concatenated, RecipeId)
  )

INSERT INTO #Concat
SELECT R.RecipeId,
       ISNULL(concatenated, '')
FROM   Recipes R
       CROSS APPLY (SELECT CAST(IngredientID AS VARCHAR(10)) + ',' + CAST(Quantity AS VARCHAR(10)) + ',' + CAST(UOM AS VARCHAR(10)) + ','
                    FROM   dbo.RecipeIngredients RI
                    WHERE  R.RecipeId = RecipeId
                    ORDER  BY IngredientID
                    FOR XML PATH('')) X (concatenated);

WITH C1
     AS (SELECT DISTINCT concatenated
         FROM   #Concat)
SELECT STUFF(Recipes, 1, 1, '')
FROM   C1
       CROSS APPLY (SELECT ',' + CAST(RecipeId AS VARCHAR(10))
                    FROM   #Concat C2
                    WHERE  C1.concatenated = C2.concatenated
                    ORDER  BY RecipeId
                    FOR XML PATH('')) R(Recipes)
WHERE  Recipes LIKE '%,%,%'

DROP TABLE #Concat 

একটি সাবধান

আমি ধরে নিয়েছি যে সংক্ষিপ্ত স্ট্রিংয়ের দৈর্ঘ্য 896 বাইটের বেশি হবে না। এটি যদি এটি করে তবে নিঃশব্দে ব্যর্থ হওয়ার পরিবর্তে রান সময়ে ত্রুটি বাড়িয়ে তুলবে। আপনাকে #tempটেবিল থেকে প্রাথমিক কী (এবং স্পষ্টভাবে তৈরি সূচক) সরিয়ে ফেলতে হবে need আমার পরীক্ষার সেটআপে সংলগ্ন স্ট্রিংয়ের সর্বাধিক দৈর্ঘ্য ছিল 125 টি অক্ষর।

যদি সংক্ষিপ্ততর স্ট্রিং সূচকের পক্ষে দীর্ঘ হয় তবে XML PATHঅভিন্ন রেসিপিগুলি একীকরণের চূড়ান্ত ক্যোয়ারীর পারফরম্যান্স ভাল হতে পারে। একটি কাস্টম সিএলআর স্ট্রিং একীকরণ ইনস্টল করা এবং ব্যবহার করা হ'ল একটি সমাধান হতে পারে কারণ এটি কোনও সূচকযুক্ত স্ব-যোগদানের পরিবর্তে ডেটা এক পাসের সাথে সংমিশ্রণ করতে পারে।

SELECT YourClrAggregate(RecipeId)
FROM #Concat
GROUP BY concatenated

আমিও চেষ্টা করেছি

WITH Agg
     AS (SELECT RecipeId,
                MAX(IngredientID)          AS MaxIngredientID,
                MIN(IngredientID)          AS MinIngredientID,
                SUM(IngredientID)          AS SumIngredientID,
                COUNT(IngredientID)        AS CountIngredientID,
                CHECKSUM_AGG(IngredientID) AS ChkIngredientID,
                MAX(Quantity)              AS MaxQuantity,
                MIN(Quantity)              AS MinQuantity,
                SUM(Quantity)              AS SumQuantity,
                COUNT(Quantity)            AS CountQuantity,
                CHECKSUM_AGG(Quantity)     AS ChkQuantity,
                MAX(UOM)                   AS MaxUOM,
                MIN(UOM)                   AS MinUOM,
                SUM(UOM)                   AS SumUOM,
                COUNT(UOM)                 AS CountUOM,
                CHECKSUM_AGG(UOM)          AS ChkUOM
         FROM   dbo.RecipeIngredients
         GROUP  BY RecipeId)
SELECT  A1.RecipeId AS RecipeId1,
        A2.RecipeId AS RecipeId2
FROM   Agg A1
       JOIN Agg A2
         ON A1.MaxIngredientID = A2.MaxIngredientID
            AND A1.MinIngredientID = A2.MinIngredientID
            AND A1.SumIngredientID = A2.SumIngredientID
            AND A1.CountIngredientID = A2.CountIngredientID
            AND A1.ChkIngredientID = A2.ChkIngredientID
            AND A1.MaxQuantity = A2.MaxQuantity
            AND A1.MinQuantity = A2.MinQuantity
            AND A1.SumQuantity = A2.SumQuantity
            AND A1.CountQuantity = A2.CountQuantity
            AND A1.ChkQuantity = A2.ChkQuantity
            AND A1.MaxUOM = A2.MaxUOM
            AND A1.MinUOM = A2.MinUOM
            AND A1.SumUOM = A2.SumUOM
            AND A1.CountUOM = A2.CountUOM
            AND A1.ChkUOM = A2.ChkUOM
            AND A1.RecipeId <> A2.RecipeId
WHERE  NOT EXISTS (SELECT *
                   FROM   (SELECT *
                           FROM   RecipeIngredients
                           WHERE  RecipeId = A1.RecipeId) R1
                          FULL OUTER JOIN (SELECT *
                                           FROM   RecipeIngredients
                                           WHERE  RecipeId = A2.RecipeId) R2
                            ON R1.IngredientID = R2.IngredientID
                               AND R1.Quantity = R2.Quantity
                               AND R1.UOM = R2.UOM
                   WHERE  R1.RecipeId IS NULL
                           OR R2.RecipeId IS NULL) 

এটি গ্রহণযোগ্যভাবে কাজ করে যখন তুলনামূলকভাবে কয়েকটি ডুপ্লিকেট থাকে (প্রথম উদাহরণের ডেটার জন্য এক সেকেন্ডের চেয়ে কম) তবে রোগগত ক্ষেত্রে খারাপ কার্য সম্পাদন করে কারণ প্রাথমিক সমষ্টি সকলের জন্য একই ফলাফল RecipeIDদেয় এবং তাই সংখ্যাকে হ্রাস করতে পরিচালনা করে না মোটামুটি তুলনা


আমি নিশ্চিত নই যে এটি "খালি" রেসিপিগুলির তুলনা করতে অনেক অর্থবোধ করে তবে শেষ পর্যন্ত এটি পোস্ট করার আগে আমি আমার ক্যোয়ারিকেও সেই প্রভাবটিতে পরিবর্তন করেছিলাম, যা দেখেছিল যে @ ইপারকিউবের সমাধানগুলি তা করেছিল।
অ্যান্ড্রি এম

@ অ্যান্ড্রিএম - জো সেলকো তার সম্পর্কিত বিভাগ নিবন্ধে
মার্টিন স্মিথ

10

এটি রিলেশনাল ডিভিশন সমস্যার একটি সাধারণীকরণ। এটি কতটা কার্যকর হবে ধারণা নেই:

; WITH cte AS
( SELECT RecipeID_1 = r1.RecipeID, Name_1 = r1.Name,
         RecipeID_2 = r2.RecipeID, Name_2 = r2.Name  
  FROM Recipes AS r1
    JOIN Recipes AS r2
      ON r1.RecipeID <> r2.RecipeID
  WHERE NOT EXISTS
        ( SELECT 1
          FROM RecipeIngredients AS ri1
          WHERE ri1.RecipeID = r1.RecipeID 
            AND NOT EXISTS
                ( SELECT 1
                  FROM RecipeIngredients AS ri2
                  WHERE ri2.RecipeID = r2.RecipeID 
                    AND ri1.IngredientID = ri2.IngredientID
                    AND ri1.Quantity = ri2.Quantity
                    AND ri1.UOM = ri2.UOM
                )
         )
)
SELECT c1.*
FROM cte AS c1
  JOIN cte AS c2
    ON  c1.RecipeID_1 = c2.RecipeID_2
    AND c1.RecipeID_2 = c2.RecipeID_1
    AND c1.RecipeID_1 < c1.RecipeID_2;

আরেকটি (অনুরূপ) পদ্ধতির:

SELECT RecipeID_1 = r1.RecipeID, Name_1 = r1.Name,
       RecipeID_2 = r2.RecipeID, Name_2 = r2.Name 
FROM Recipes AS r1
  JOIN Recipes AS r2
    ON  r1.RecipeID < r2.RecipeID 
    AND NOT EXISTS
        ( SELECT IngredientID, Quantity, UOM
          FROM RecipeIngredients AS ri1
          WHERE ri1.RecipeID = r1.RecipeID
        EXCEPT 
          SELECT IngredientID, Quantity, UOM
          FROM RecipeIngredients AS ri2
          WHERE ri2.RecipeID = r2.RecipeID
        )
    AND NOT EXISTS
        ( SELECT IngredientID, Quantity, UOM
          FROM RecipeIngredients AS ri2
          WHERE ri2.RecipeID = r2.RecipeID
        EXCEPT 
          SELECT IngredientID, Quantity, UOM
          FROM RecipeIngredients AS ri1
          WHERE ri1.RecipeID = r1.RecipeID
        ) ;

এবং অন্য, ভিন্ন একটি:

; WITH cte AS
( SELECT RecipeID_1 = r.RecipeID, RecipeID_2 = ri.RecipeID, 
          ri.IngredientID, ri.Quantity, ri.UOM
  FROM Recipes AS r
    CROSS JOIN RecipeIngredients AS ri
)
, cte2 AS
( SELECT RecipeID_1, RecipeID_2,
         IngredientID, Quantity, UOM
  FROM cte
EXCEPT
  SELECT RecipeID_2, RecipeID_1,
         IngredientID, Quantity, UOM
  FROM cte
)

  SELECT RecipeID_1 = r1.RecipeID, RecipeID_2 = r2.RecipeID
  FROM Recipes AS r1
    JOIN Recipes AS r2
      ON r1.RecipeID < r2.RecipeID
EXCEPT 
  SELECT RecipeID_1, RecipeID_2
  FROM cte2
EXCEPT 
  SELECT RecipeID_2, RecipeID_1
  FROM cte2 ;

এসকিউএল-ফিডল পরীক্ষিত


CHECKSUM()এবং CHECKSUM_AGG()ফাংশনগুলি ব্যবহার করে , এসকিউএল-ফিডল -২ এ পরীক্ষা করুন :
( এটি মিথ্যা ধনাত্মক দিতে পারে বলে এটিকে অগ্রাহ্য করুন )

ALTER TABLE RecipeIngredients
  ADD ck AS CHECKSUM( IngredientID, Quantity, UOM )
    PERSISTED ;

CREATE INDEX ckecksum_IX
  ON RecipeIngredients
    ( RecipeID, ck ) ;

; WITH cte AS
( SELECT RecipeID,
         cka = CHECKSUM_AGG(ck)
  FROM RecipeIngredients AS ri
  GROUP BY RecipeID
)
SELECT RecipeID_1 = c1.RecipeID, RecipeID_2 = c2.RecipeID
FROM cte AS c1
  JOIN cte AS c2
    ON  c1.cka = c2.cka
    AND c1.RecipeID < c2.RecipeID  ;


মৃত্যুদণ্ড কার্যকর করার পরিকল্পনাগুলি একধরণের ভীতিজনক।
ypercubeᵀᴹ

এটি আমার প্রশ্নের কেন্দ্রীভূত হয়, কীভাবে এটি করা যায়। যদিও মৃত্যুদন্ড কার্যকর করার পরিকল্পনাটি আমার বিশেষ পরিস্থিতির জন্য একটি ডিল-ব্রেকার হতে পারে।
অকর্মা

1
CHECKSUMএবং CHECKSUM_AGGতবুও আপনাকে মিথ্যা ধনাত্মকতা পরীক্ষা করার দরকার পড়ে leave
মার্টিন স্মিথ

470 রেসিপি এবং 2057 উপাদান সারি ক্যোয়ারী 1 সহ আমার উত্তরটিতে উদাহরণের ডেটা কাটা সংস্করণের জন্য 1 টি Table 'RecipeIngredients'. Scan count 220514, logical reads 443643এবং ক্যোয়ারী 2 রয়েছে Table 'RecipeIngredients'. Scan count 110218, logical reads 441214। তৃতীয়টি মনে হয় যে এই দুটি তুলনায় তুলনামূলকভাবে কম পড়া হয়েছে তবে এখনও পুরো নমুনা তথ্যের বিপরীতে আমি 8 মিনিটের পরে কোয়েরিটি বাতিল করে দিয়েছি।
মার্টিন স্মিথ

প্রথমে গণনা তুলনা করে আপনার এটির গতি বাড়ানো উচিত। মূলত উপাদানগুলির গণনা অভিন্ন না হলে একজোড়া রেসিপিতে ঠিক একই উপাদান সেট করা যায় না।
টমটম
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.