প্রথম পোস্ট :)
ওপি-র জন্য, ক্রেস্টফের সমাধানটি কার্যকর হবে, যদি না বড় মুছে ফেলার বিষয়ে বিশাল ডেটা এবং লেনদেনের লগ বেলুনের সমস্যা না থাকে। এছাড়াও, টগল স্টোরেজটি ছাড়াই, এমনকি যেহেতু মুছে ফেলুন টলোগুলি লিখতে, অপারেশনটি কয়েক মিলিয়ন সারি সহ সারণীগুলির জন্য বেশ দীর্ঘ সময় নিতে পারে।
আমি প্রায়শই আমাদের বিশাল উত্পাদন ডেটাবেসগুলির একটির বৃহত অনুলিপি ছাঁটাই এবং পুনরায় লোড করতে ক্রসারগুলির একটি সিরিজ ব্যবহার করি। একাধিক স্কিমা, একাধিক বিদেশী কী কলাম এবং সর্বোপরি এসএসআইএস-এ ব্যবহারের জন্য সমাধানগুলির ইঞ্জিনিয়ারড অ্যাকাউন্টগুলি roc
এটিতে ডিআওআরপি রাখতে, তৈরি করতে এবং চেক এফকে স্ক্রিপ্টগুলি স্থাপনের জন্য তিনটি স্টেজিং টেবিল (রিয়েল টেবিল) তৈরি করা এবং টেবিলগুলিতে সেই স্ক্রিপ্টগুলি সন্নিবেশ করা এবং তারপরে টেবিলগুলির উপর লুপিং এবং এগুলি কার্যকর করা অন্তর্ভুক্ত। সংযুক্ত স্ক্রিপ্টটি চারটি অংশ: ১) তিনটি স্টেজিং (বাস্তব) সারণীতে স্ক্রিপ্টগুলি তৈরি এবং সংরক্ষণ, ২) ড্রপ এফকে স্ক্রিপ্টগুলির একের পর এক কার্সারের মাধ্যমে সম্পাদন, ৩) sp_MS ফরাসীকরণযোগ্য ব্যবহার করে সমস্তগুলি কেটে ফেলা যায় আমাদের তিনটি স্টেজিং টেবিল ছাড়া ডাটাবেসে সারণী এবং ৪) আপনার এটিএল এসএসআইএস প্যাকেজ শেষে এফকে তৈরি করুন এবং এফকে স্ক্রিপ্টগুলি পরীক্ষা করুন।
এসআইএসআইএসে এক্সিকিউট এসকিউএল টাস্কে স্ক্রিপ্ট তৈরির অংশটি চালান। দ্বিতীয় এক্সিকিউট এসকিউএল টাস্কে "এক্সিকিউট ড্রপ এফ কে স্ক্রিপ্টস" অংশটি চালান। তৃতীয় এক্সিকিউট এসকিউএল টাস্কে ট্র্যাঙ্কেশন স্ক্রিপ্টটি রাখুন, তারপরে আপনার নিয়ন্ত্রণ প্রবাহের শেষে একটি চূড়ান্ত এক্সিকিউট করুন এসকিউএল টাস্কে (বা দুটি ইচ্ছা হলে) ক্রিয়েট এবং চেক স্ক্রিপ্টগুলি সংযুক্ত করার আগে আপনার অন্য যে কোন ETL প্রসেসগুলি করা দরকার তা সম্পাদন করুন।
রিয়েল টেবিলগুলিতে স্ক্রিপ্টগুলির সঞ্চয় অমূল্য প্রমাণিত হয়েছে যখন আপনি বিদেশী কীগুলির পুনরায় প্রয়োগ ব্যর্থ হয় আপনি সিঙ্ক_ক্রিয়েটএফকে থেকে * নির্বাচন করতে পারেন, আপনার ক্যোয়ারী উইন্ডোতে অনুলিপি / পেস্ট করতে পারেন, একবারে সেগুলি চালনা করুন এবং একবার ডেটা সমস্যা সমাধান করুন you যেগুলি ব্যর্থ হয়েছে / এখনও পুনরায় প্রয়োগ করতে ব্যর্থ হয়েছে তাদের সন্ধান করুন।
স্ক্রিপ্টটি আবার চালাবেন না যদি এটি করা না করে আপনি যদি সমস্ত বিদেশী কী / চেকগুলি পুনরায় প্রয়োগ করে থাকেন তা নিশ্চিত করেই ব্যর্থ হয় বা আপনি সম্ভবত কিছু সৃষ্টি হারাবেন এবং আমাদের স্টেজিং টেবিলগুলি বাদ পড়ার সাথে সাথে fk স্ক্রিপ্টিং পরীক্ষা করতে পারেন এবং কার্যকর করার জন্য স্ক্রিপ্ট তৈরির পূর্বে পুনরায় তৈরি করা হয়েছিল।
----------------------------------------------------------------------------
1)
/*
Author: Denmach
DateCreated: 2014-04-23
Purpose: Generates SQL statements to DROP, ADD, and CHECK existing constraints for a
database. Stores scripts in tables on target database for execution. Executes
those stored scripts via independent cursors.
DateModified:
ModifiedBy
Comments: This will eliminate deletes and the T-log ballooning associated with it.
*/
DECLARE @schema_name SYSNAME;
DECLARE @table_name SYSNAME;
DECLARE @constraint_name SYSNAME;
DECLARE @constraint_object_id INT;
DECLARE @referenced_object_name SYSNAME;
DECLARE @is_disabled BIT;
DECLARE @is_not_for_replication BIT;
DECLARE @is_not_trusted BIT;
DECLARE @delete_referential_action TINYINT;
DECLARE @update_referential_action TINYINT;
DECLARE @tsql NVARCHAR(4000);
DECLARE @tsql2 NVARCHAR(4000);
DECLARE @fkCol SYSNAME;
DECLARE @pkCol SYSNAME;
DECLARE @col1 BIT;
DECLARE @action CHAR(6);
DECLARE @referenced_schema_name SYSNAME;
--------------------------------Generate scripts to drop all foreign keys in a database --------------------------------
IF OBJECT_ID('dbo.sync_dropFK') IS NOT NULL
DROP TABLE sync_dropFK
CREATE TABLE sync_dropFK
(
ID INT IDENTITY (1,1) NOT NULL
, Script NVARCHAR(4000)
)
DECLARE FKcursor CURSOR FOR
SELECT
OBJECT_SCHEMA_NAME(parent_object_id)
, OBJECT_NAME(parent_object_id)
, name
FROM
sys.foreign_keys WITH (NOLOCK)
ORDER BY
1,2;
OPEN FKcursor;
FETCH NEXT FROM FKcursor INTO
@schema_name
, @table_name
, @constraint_name
WHILE @@FETCH_STATUS = 0
BEGIN
SET @tsql = 'ALTER TABLE '
+ QUOTENAME(@schema_name)
+ '.'
+ QUOTENAME(@table_name)
+ ' DROP CONSTRAINT '
+ QUOTENAME(@constraint_name)
+ ';';
--PRINT @tsql;
INSERT sync_dropFK (
Script
)
VALUES (
@tsql
)
FETCH NEXT FROM FKcursor INTO
@schema_name
, @table_name
, @constraint_name
;
END;
CLOSE FKcursor;
DEALLOCATE FKcursor;
---------------Generate scripts to create all existing foreign keys in a database --------------------------------
----------------------------------------------------------------------------------------------------------
IF OBJECT_ID('dbo.sync_createFK') IS NOT NULL
DROP TABLE sync_createFK
CREATE TABLE sync_createFK
(
ID INT IDENTITY (1,1) NOT NULL
, Script NVARCHAR(4000)
)
IF OBJECT_ID('dbo.sync_createCHECK') IS NOT NULL
DROP TABLE sync_createCHECK
CREATE TABLE sync_createCHECK
(
ID INT IDENTITY (1,1) NOT NULL
, Script NVARCHAR(4000)
)
DECLARE FKcursor CURSOR FOR
SELECT
OBJECT_SCHEMA_NAME(parent_object_id)
, OBJECT_NAME(parent_object_id)
, name
, OBJECT_NAME(referenced_object_id)
, OBJECT_ID
, is_disabled
, is_not_for_replication
, is_not_trusted
, delete_referential_action
, update_referential_action
, OBJECT_SCHEMA_NAME(referenced_object_id)
FROM
sys.foreign_keys WITH (NOLOCK)
ORDER BY
1,2;
OPEN FKcursor;
FETCH NEXT FROM FKcursor INTO
@schema_name
, @table_name
, @constraint_name
, @referenced_object_name
, @constraint_object_id
, @is_disabled
, @is_not_for_replication
, @is_not_trusted
, @delete_referential_action
, @update_referential_action
, @referenced_schema_name;
WHILE @@FETCH_STATUS = 0
BEGIN
BEGIN
SET @tsql = 'ALTER TABLE '
+ QUOTENAME(@schema_name)
+ '.'
+ QUOTENAME(@table_name)
+ CASE
@is_not_trusted
WHEN 0 THEN ' WITH CHECK '
ELSE ' WITH NOCHECK '
END
+ ' ADD CONSTRAINT '
+ QUOTENAME(@constraint_name)
+ ' FOREIGN KEY (';
SET @tsql2 = '';
DECLARE ColumnCursor CURSOR FOR
SELECT
COL_NAME(fk.parent_object_id
, fkc.parent_column_id)
, COL_NAME(fk.referenced_object_id
, fkc.referenced_column_id)
FROM
sys.foreign_keys fk WITH (NOLOCK)
INNER JOIN sys.foreign_key_columns fkc WITH (NOLOCK) ON fk.[object_id] = fkc.constraint_object_id
WHERE
fkc.constraint_object_id = @constraint_object_id
ORDER BY
fkc.constraint_column_id;
OPEN ColumnCursor;
SET @col1 = 1;
FETCH NEXT FROM ColumnCursor INTO @fkCol, @pkCol;
WHILE @@FETCH_STATUS = 0
BEGIN
IF (@col1 = 1)
SET @col1 = 0;
ELSE
BEGIN
SET @tsql = @tsql + ',';
SET @tsql2 = @tsql2 + ',';
END;
SET @tsql = @tsql + QUOTENAME(@fkCol);
SET @tsql2 = @tsql2 + QUOTENAME(@pkCol);
--PRINT '@tsql = ' + @tsql
--PRINT '@tsql2 = ' + @tsql2
FETCH NEXT FROM ColumnCursor INTO @fkCol, @pkCol;
--PRINT 'FK Column ' + @fkCol
--PRINT 'PK Column ' + @pkCol
END;
CLOSE ColumnCursor;
DEALLOCATE ColumnCursor;
SET @tsql = @tsql + ' ) REFERENCES '
+ QUOTENAME(@referenced_schema_name)
+ '.'
+ QUOTENAME(@referenced_object_name)
+ ' ('
+ @tsql2 + ')';
SET @tsql = @tsql
+ ' ON UPDATE '
+
CASE @update_referential_action
WHEN 0 THEN 'NO ACTION '
WHEN 1 THEN 'CASCADE '
WHEN 2 THEN 'SET NULL '
ELSE 'SET DEFAULT '
END
+ ' ON DELETE '
+
CASE @delete_referential_action
WHEN 0 THEN 'NO ACTION '
WHEN 1 THEN 'CASCADE '
WHEN 2 THEN 'SET NULL '
ELSE 'SET DEFAULT '
END
+
CASE @is_not_for_replication
WHEN 1 THEN ' NOT FOR REPLICATION '
ELSE ''
END
+ ';';
END;
-- PRINT @tsql
INSERT sync_createFK
(
Script
)
VALUES (
@tsql
)
-------------------Generate CHECK CONSTRAINT scripts for a database ------------------------------
----------------------------------------------------------------------------------------------------------
BEGIN
SET @tsql = 'ALTER TABLE '
+ QUOTENAME(@schema_name)
+ '.'
+ QUOTENAME(@table_name)
+
CASE @is_disabled
WHEN 0 THEN ' CHECK '
ELSE ' NOCHECK '
END
+ 'CONSTRAINT '
+ QUOTENAME(@constraint_name)
+ ';';
--PRINT @tsql;
INSERT sync_createCHECK
(
Script
)
VALUES (
@tsql
)
END;
FETCH NEXT FROM FKcursor INTO
@schema_name
, @table_name
, @constraint_name
, @referenced_object_name
, @constraint_object_id
, @is_disabled
, @is_not_for_replication
, @is_not_trusted
, @delete_referential_action
, @update_referential_action
, @referenced_schema_name;
END;
CLOSE FKcursor;
DEALLOCATE FKcursor;
--SELECT * FROM sync_DropFK
--SELECT * FROM sync_CreateFK
--SELECT * FROM sync_CreateCHECK
---------------------------------------------------------------------------
2.)
-----------------------------------------------------------------------------------------------------------------
----------------------------execute Drop FK Scripts --------------------------------------------------
DECLARE @scriptD NVARCHAR(4000)
DECLARE DropFKCursor CURSOR FOR
SELECT Script
FROM sync_dropFK WITH (NOLOCK)
OPEN DropFKCursor
FETCH NEXT FROM DropFKCursor
INTO @scriptD
WHILE @@FETCH_STATUS = 0
BEGIN
--PRINT @scriptD
EXEC (@scriptD)
FETCH NEXT FROM DropFKCursor
INTO @scriptD
END
CLOSE DropFKCursor
DEALLOCATE DropFKCursor
--------------------------------------------------------------------------------
3.)
------------------------------------------------------------------------------------------------------------------
----------------------------Truncate all tables in the database other than our staging tables --------------------
------------------------------------------------------------------------------------------------------------------
EXEC sp_MSforeachtable 'IF OBJECT_ID(''?'') NOT IN
(
ISNULL(OBJECT_ID(''dbo.sync_createCHECK''),0),
ISNULL(OBJECT_ID(''dbo.sync_createFK''),0),
ISNULL(OBJECT_ID(''dbo.sync_dropFK''),0)
)
BEGIN TRY
TRUNCATE TABLE ?
END TRY
BEGIN CATCH
PRINT ''Truncation failed on''+ ? +''
END CATCH;'
GO
-------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------
----------------------------execute Create FK Scripts and CHECK CONSTRAINT Scripts---------------
----------------------------tack me at the end of the ETL in a SQL task-------------------------
-------------------------------------------------------------------------------------------------
DECLARE @scriptC NVARCHAR(4000)
DECLARE CreateFKCursor CURSOR FOR
SELECT Script
FROM sync_createFK WITH (NOLOCK)
OPEN CreateFKCursor
FETCH NEXT FROM CreateFKCursor
INTO @scriptC
WHILE @@FETCH_STATUS = 0
BEGIN
--PRINT @scriptC
EXEC (@scriptC)
FETCH NEXT FROM CreateFKCursor
INTO @scriptC
END
CLOSE CreateFKCursor
DEALLOCATE CreateFKCursor
-------------------------------------------------------------------------------------------------
DECLARE @scriptCh NVARCHAR(4000)
DECLARE CreateCHECKCursor CURSOR FOR
SELECT Script
FROM sync_createCHECK WITH (NOLOCK)
OPEN CreateCHECKCursor
FETCH NEXT FROM CreateCHECKCursor
INTO @scriptCh
WHILE @@FETCH_STATUS = 0
BEGIN
--PRINT @scriptCh
EXEC (@scriptCh)
FETCH NEXT FROM CreateCHECKCursor
INTO @scriptCh
END
CLOSE CreateCHECKCursor
DEALLOCATE CreateCHECKCursor
