আমি লেভেনস্টেইন দূরত্ব গণনা করে টি-এসকিউএল এ্যালগরিদমে আগ্রহী।
আমি লেভেনস্টেইন দূরত্ব গণনা করে টি-এসকিউএল এ্যালগরিদমে আগ্রহী।
উত্তর:
আমি টিএসকিউএলে স্ট্যান্ডার্ড লেভেনস্টেইন সম্পাদনা দূরত্ব ফাংশনটি বেশ কয়েকটি অপ্টিমাইজেশনের মাধ্যমে প্রয়োগ করেছি যা আমি জানি এমন অন্যান্য সংস্করণগুলির গতি উন্নত করে। যে ক্ষেত্রে দুটি স্ট্রিংয়ের শুরুতে অক্ষর রয়েছে (ভাগ করা উপসর্গ), তাদের শেষে সাধারণ অক্ষরগুলি (ভাগ করা প্রত্যয়), এবং যখন স্ট্রিংগুলি বড় হয় এবং সর্বাধিক সম্পাদনের দূরত্ব দেওয়া হয়, তখন গতির উন্নতি লক্ষণীয়। উদাহরণস্বরূপ, যখন ইনপুট দুটি খুব অনুরূপ 4000 অক্ষরের স্ট্রিং হয় এবং 2 এর সর্বাধিক সম্পাদনার দূরত্ব নির্দিষ্ট করা হয়, এটি প্রায় তিনটি ক্রমের চেয়ে দ্রুততর আদেশedit_distance_withinগৃহীত উত্তরের মধ্যে ফাংশন করুন, উত্তরটি 0.073 সেকেন্ডে (73 মিলিসেকেন্ড) বনাম 55 সেকেন্ডে ফেরত দিন। দুটি ইনপুট স্ট্রিং এর বৃহত্তর সমান জায়গা এবং কিছু ধ্রুবক স্থান ব্যবহার করে এটি মেমরি দক্ষ। এটি একটি কলামকে উপস্থাপন করে এমন একক এনভারচার "অ্যারে" ব্যবহার করে এবং সমস্ত গণনা সেই জায়গায় রাখে, সাথে সাথে কিছু সহায়ক ইন্ট ভেরিয়েবলগুলি করে।
অপ্টিমাইজেশন:
এখানে কোডটি দেওয়া হয়েছে (কিছুটা আরও গতি বাড়ানোর জন্য 1/20/2014 আপডেট করা হয়েছে):
-- =============================================
-- Computes and returns the Levenshtein edit distance between two strings, i.e. the
-- number of insertion, deletion, and sustitution edits required to transform one
-- string to the other, or NULL if @max is exceeded. Comparisons use the case-
-- sensitivity configured in SQL Server (case-insensitive by default).
--
-- Based on Sten Hjelmqvist's "Fast, memory efficient" algorithm, described
-- at http://www.codeproject.com/Articles/13525/Fast-memory-efficient-Levenshtein-algorithm,
-- with some additional optimizations.
-- =============================================
CREATE FUNCTION [dbo].[Levenshtein](
@s nvarchar(4000)
, @t nvarchar(4000)
, @max int
)
RETURNS int
WITH SCHEMABINDING
AS
BEGIN
DECLARE @distance int = 0 -- return variable
, @v0 nvarchar(4000)-- running scratchpad for storing computed distances
, @start int = 1 -- index (1 based) of first non-matching character between the two string
, @i int, @j int -- loop counters: i for s string and j for t string
, @diag int -- distance in cell diagonally above and left if we were using an m by n matrix
, @left int -- distance in cell to the left if we were using an m by n matrix
, @sChar nchar -- character at index i from s string
, @thisJ int -- temporary storage of @j to allow SELECT combining
, @jOffset int -- offset used to calculate starting value for j loop
, @jEnd int -- ending value for j loop (stopping point for processing a column)
-- get input string lengths including any trailing spaces (which SQL Server would otherwise ignore)
, @sLen int = datalength(@s) / datalength(left(left(@s, 1) + '.', 1)) -- length of smaller string
, @tLen int = datalength(@t) / datalength(left(left(@t, 1) + '.', 1)) -- length of larger string
, @lenDiff int -- difference in length between the two strings
-- if strings of different lengths, ensure shorter string is in s. This can result in a little
-- faster speed by spending more time spinning just the inner loop during the main processing.
IF (@sLen > @tLen) BEGIN
SELECT @v0 = @s, @i = @sLen -- temporarily use v0 for swap
SELECT @s = @t, @sLen = @tLen
SELECT @t = @v0, @tLen = @i
END
SELECT @max = ISNULL(@max, @tLen)
, @lenDiff = @tLen - @sLen
IF @lenDiff > @max RETURN NULL
-- suffix common to both strings can be ignored
WHILE(@sLen > 0 AND SUBSTRING(@s, @sLen, 1) = SUBSTRING(@t, @tLen, 1))
SELECT @sLen = @sLen - 1, @tLen = @tLen - 1
IF (@sLen = 0) RETURN @tLen
-- prefix common to both strings can be ignored
WHILE (@start < @sLen AND SUBSTRING(@s, @start, 1) = SUBSTRING(@t, @start, 1))
SELECT @start = @start + 1
IF (@start > 1) BEGIN
SELECT @sLen = @sLen - (@start - 1)
, @tLen = @tLen - (@start - 1)
-- if all of shorter string matches prefix and/or suffix of longer string, then
-- edit distance is just the delete of additional characters present in longer string
IF (@sLen <= 0) RETURN @tLen
SELECT @s = SUBSTRING(@s, @start, @sLen)
, @t = SUBSTRING(@t, @start, @tLen)
END
-- initialize v0 array of distances
SELECT @v0 = '', @j = 1
WHILE (@j <= @tLen) BEGIN
SELECT @v0 = @v0 + NCHAR(CASE WHEN @j > @max THEN @max ELSE @j END)
SELECT @j = @j + 1
END
SELECT @jOffset = @max - @lenDiff
, @i = 1
WHILE (@i <= @sLen) BEGIN
SELECT @distance = @i
, @diag = @i - 1
, @sChar = SUBSTRING(@s, @i, 1)
-- no need to look beyond window of upper left diagonal (@i) + @max cells
-- and the lower right diagonal (@i - @lenDiff) - @max cells
, @j = CASE WHEN @i <= @jOffset THEN 1 ELSE @i - @jOffset END
, @jEnd = CASE WHEN @i + @max >= @tLen THEN @tLen ELSE @i + @max END
WHILE (@j <= @jEnd) BEGIN
-- at this point, @distance holds the previous value (the cell above if we were using an m by n matrix)
SELECT @left = UNICODE(SUBSTRING(@v0, @j, 1))
, @thisJ = @j
SELECT @distance =
CASE WHEN (@sChar = SUBSTRING(@t, @j, 1)) THEN @diag --match, no change
ELSE 1 + CASE WHEN @diag < @left AND @diag < @distance THEN @diag --substitution
WHEN @left < @distance THEN @left -- insertion
ELSE @distance -- deletion
END END
SELECT @v0 = STUFF(@v0, @thisJ, 1, NCHAR(@distance))
, @diag = @left
, @j = case when (@distance > @max) AND (@thisJ = @i + @lenDiff) then @jEnd + 2 else @thisJ + 1 end
END
SELECT @i = CASE WHEN @j > @jEnd + 1 THEN @sLen + 1 ELSE @i + 1 END
END
RETURN CASE WHEN @distance <= @max THEN @distance ELSE NULL END
END
এই ফাংশনটির মন্তব্যে যেমন উল্লেখ করা হয়েছে, চরিত্রের তুলনার ক্ষেত্রে সংবেদনশীলতা কার্যকর হবে এমন কোলেশন অনুসরণ করবে। ডিফল্টরূপে, এসকিউএল সার্ভারের কোলেশনটি হ'ল সংবেদনশীল তুলনার ক্ষেত্রে। এই ফাংশনটিকে সর্বদা সংবেদনশীল হিসাবে সংশোধন করার একটি উপায় হ'ল দুটি স্থানে স্ট্রিংয়ের তুলনা করা হলে একটি নির্দিষ্ট কোলেশন যুক্ত করা। তবে, আমি এটির পুঙ্খানুপুঙ্খভাবে পরীক্ষা করিনি, বিশেষত পার্শ্ব প্রতিক্রিয়াগুলির জন্য যখন ডেটাবেস অ-ডিফল্ট কোলেশন ব্যবহার করে। সংবেদনশীল তুলনায় জোর করে দুটি লাইন কীভাবে পরিবর্তিত হবে:
-- prefix common to both strings can be ignored
WHILE (@start < @sLen AND SUBSTRING(@s, @start, 1) = SUBSTRING(@t, @start, 1) COLLATE SQL_Latin1_General_Cp1_CS_AS)
এবং
SELECT @distance =
CASE WHEN (@sChar = SUBSTRING(@t, @j, 1) COLLATE SQL_Latin1_General_Cp1_CS_AS) THEN @diag --match, no change
আর্নল্ড ছেবলামি করা দুটি প্রস্তাব ছিল sqlteam.com/forums
এটি ২০০ from সালের সবচেয়ে কম বয়সী:
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_NULLS ON
GO
CREATE FUNCTION edit_distance_within(@s nvarchar(4000), @t nvarchar(4000), @d int)
RETURNS int
AS
BEGIN
DECLARE @sl int, @tl int, @i int, @j int, @sc nchar, @c int, @c1 int,
@cv0 nvarchar(4000), @cv1 nvarchar(4000), @cmin int
SELECT @sl = LEN(@s), @tl = LEN(@t), @cv1 = '', @j = 1, @i = 1, @c = 0
WHILE @j <= @tl
SELECT @cv1 = @cv1 + NCHAR(@j), @j = @j + 1
WHILE @i <= @sl
BEGIN
SELECT @sc = SUBSTRING(@s, @i, 1), @c1 = @i, @c = @i, @cv0 = '', @j = 1, @cmin = 4000
WHILE @j <= @tl
BEGIN
SET @c = @c + 1
SET @c1 = @c1 - CASE WHEN @sc = SUBSTRING(@t, @j, 1) THEN 1 ELSE 0 END
IF @c > @c1 SET @c = @c1
SET @c1 = UNICODE(SUBSTRING(@cv1, @j, 1)) + 1
IF @c > @c1 SET @c = @c1
IF @c < @cmin SET @cmin = @c
SELECT @cv0 = @cv0 + NCHAR(@c), @j = @j + 1
END
IF @cmin > @d BREAK
SELECT @cv1 = @cv0, @i = @i + 1
END
RETURN CASE WHEN @cmin <= @d AND @c <= @d THEN @c ELSE -1 END
END
GO
আইআইআরসি, এসকিউএল সার্ভার ২০০৫ এর সাথে এবং পরে আপনি কোনও। নেট ভাষায় সঞ্চিত পদ্ধতিগুলি লিখতে পারেন: এসকিউএল সার্ভার 2005 এ সিএলআর ইন্টিগ্রেশন ব্যবহার করে । এর সাথে লেভেনস্টেইন দূরত্ব গণনার জন্য কোনও পদ্ধতি লিখতে অসুবিধা হওয়া উচিত নয় ।
একটি সাধারণ হ্যালো, বিশ্ব! সহায়তা থেকে নেওয়া:
using System;
using System.Data;
using Microsoft.SqlServer.Server;
using System.Data.SqlTypes;
public class HelloWorldProc
{
[Microsoft.SqlServer.Server.SqlProcedure]
public static void HelloWorld(out string text)
{
SqlContext.Pipe.Send("Hello world!" + Environment.NewLine);
text = "Hello world!";
}
}
তারপরে আপনার এসকিউএল সার্ভারে নিম্নলিখিতটি চালান:
CREATE ASSEMBLY helloworld from 'c:\helloworld.dll' WITH PERMISSION_SET = SAFE
CREATE PROCEDURE hello
@i nchar(25) OUTPUT
AS
EXTERNAL NAME helloworld.HelloWorldProc.HelloWorld
এবং এখন আপনি এটি চালাতে পরীক্ষা করতে পারেন:
DECLARE @J nchar(25)
EXEC hello @J out
PRINT @J
আশাকরি এটা সাহায্য করবে.
স্ট্রিংগুলির তুলনা করার জন্য আপনি লেভেনস্টেইন দূরত্ব অ্যালগরিদম ব্যবহার করতে পারেন
আপনি এখানে একটি টি-এসকিউএল উদাহরণ পেতে পারেন http://www.kodyaz.com/articles/fuzzy-string-matching-used-levenshtein-distance-sql-server.aspx এ
CREATE FUNCTION edit_distance(@s1 nvarchar(3999), @s2 nvarchar(3999))
RETURNS int
AS
BEGIN
DECLARE @s1_len int, @s2_len int
DECLARE @i int, @j int, @s1_char nchar, @c int, @c_temp int
DECLARE @cv0 varbinary(8000), @cv1 varbinary(8000)
SELECT
@s1_len = LEN(@s1),
@s2_len = LEN(@s2),
@cv1 = 0x0000,
@j = 1, @i = 1, @c = 0
WHILE @j <= @s2_len
SELECT @cv1 = @cv1 + CAST(@j AS binary(2)), @j = @j + 1
WHILE @i <= @s1_len
BEGIN
SELECT
@s1_char = SUBSTRING(@s1, @i, 1),
@c = @i,
@cv0 = CAST(@i AS binary(2)),
@j = 1
WHILE @j <= @s2_len
BEGIN
SET @c = @c + 1
SET @c_temp = CAST(SUBSTRING(@cv1, @j+@j-1, 2) AS int) +
CASE WHEN @s1_char = SUBSTRING(@s2, @j, 1) THEN 0 ELSE 1 END
IF @c > @c_temp SET @c = @c_temp
SET @c_temp = CAST(SUBSTRING(@cv1, @j+@j+1, 2) AS int)+1
IF @c > @c_temp SET @c = @c_temp
SELECT @cv0 = @cv0 + CAST(@c AS binary(2)), @j = @j + 1
END
SELECT @cv1 = @cv0, @i = @i + 1
END
RETURN @c
END
(জোসেফ গামা দ্বারা নির্মিত ফাংশন)
ব্যবহার:
select
dbo.edit_distance('Fuzzy String Match','fuzzy string match'),
dbo.edit_distance('fuzzy','fuzy'),
dbo.edit_distance('Fuzzy String Match','fuzy string match'),
dbo.edit_distance('levenshtein distance sql','levenshtein sql server'),
dbo.edit_distance('distance','server')
অ্যালগরিদম কেবল স্টেপ গণনাটি এক স্টেকে আলাদা আলাদা অক্ষর প্রতিস্থাপন করে একটি স্ট্রিংকে অন্য স্ট্রিংয়ে পরিবর্তন করতে দেয় returns
আমি লেভেনস্টাইন অ্যালগরিদমের জন্যও একটি কোড উদাহরণ খুঁজছিলাম এবং এটি এখানে পেয়ে খুশি হয়েছিল। অবশ্যই আমি বুঝতে চেয়েছিলাম যে অ্যালগরিদম কীভাবে কাজ করছে এবং আমি উপরের উদাহরণগুলির সাথে সামান্য কিছুটা খেলছিলাম যা আমি ভেভের দ্বারা পোস্ট করা একটি সামান্য বিস্তৃতের সাথে খেলছিলাম । কোডটির আরও ভাল বোঝার জন্য আমি ম্যাট্রিক্সের সাথে একটি এক্সকেল তৈরি করেছি।
চিত্রগুলি 1000 টিরও বেশি শব্দের কথা বলে।
এই এক্সেল দিয়ে আমি দেখতে পেলাম যে অতিরিক্ত পারফরম্যান্স অপ্টিমাইজেশনের সম্ভাবনা ছিল। উপরের ডানদিকে লাল অঞ্চলের সমস্ত মান গণনা করার দরকার নেই। প্রতিটি লাল কক্ষের মান বাম কোষের প্লাস 1 এর মান হিসাবে ফলাফল দেয় কারণ এটি কারণ, দ্বিতীয় স্ট্রিংটি সেই অঞ্চলে সর্বদা প্রথমটির চেয়ে দীর্ঘতর হয়, যা প্রতিটি চরিত্রের জন্য 1 এর মান দ্বারা দূরত্ব বৃদ্ধি করে।
আপনি যদি এই বিবৃতিটির আগে আইএফ @ জ <= @ i স্টেটমেন্টটি ব্যবহার করে এবং @i এর মান বাড়িয়ে প্রতিবিম্বিত করতে পারেন।
CREATE FUNCTION [dbo].[f_LevenshteinDistance](@s1 nvarchar(3999), @s2 nvarchar(3999))
RETURNS int
AS
BEGIN
DECLARE @s1_len int;
DECLARE @s2_len int;
DECLARE @i int;
DECLARE @j int;
DECLARE @s1_char nchar;
DECLARE @c int;
DECLARE @c_temp int;
DECLARE @cv0 varbinary(8000);
DECLARE @cv1 varbinary(8000);
SELECT
@s1_len = LEN(@s1),
@s2_len = LEN(@s2),
@cv1 = 0x0000 ,
@j = 1 ,
@i = 1 ,
@c = 0
WHILE @j <= @s2_len
SELECT @cv1 = @cv1 + CAST(@j AS binary(2)), @j = @j + 1;
WHILE @i <= @s1_len
BEGIN
SELECT
@s1_char = SUBSTRING(@s1, @i, 1),
@c = @i ,
@cv0 = CAST(@i AS binary(2)),
@j = 1;
SET @i = @i + 1;
WHILE @j <= @s2_len
BEGIN
SET @c = @c + 1;
IF @j <= @i
BEGIN
SET @c_temp = CAST(SUBSTRING(@cv1, @j + @j - 1, 2) AS int) + CASE WHEN @s1_char = SUBSTRING(@s2, @j, 1) THEN 0 ELSE 1 END;
IF @c > @c_temp SET @c = @c_temp
SET @c_temp = CAST(SUBSTRING(@cv1, @j + @j + 1, 2) AS int) + 1;
IF @c > @c_temp SET @c = @c_temp;
END;
SELECT @cv0 = @cv0 + CAST(@c AS binary(2)), @j = @j + 1;
END;
SET @cv1 = @cv0;
END;
RETURN @c;
END;
('jane', 'jeanne')3 একটি দূরত্ব ফিরে আসবে, যখন দূরত্ব 2. হওয়া উচিত ঠিক করার জন্য এই অতিরিক্ত কোডটি অদলবদল যুক্ত করা উচিত @s1এবং @s2যদি @s1চেয়ে খাটো দৈর্ঘ্য @s2।
টিএসকিউএল-তে দুটি আইটেমের তুলনা করার সর্বোত্তম এবং দ্রুততম উপায় হ'ল নির্বাচনী বিবৃতি যা ইনডেক্সড কলামগুলিতে সারণিতে যোগদান করে। সুতরাং আপনি যদি কোনও আরডিবিএমএস ইঞ্জিনের সুবিধাগুলি থেকে উপকার পেতে চান তবে আমি সম্পাদনার দূরত্বটি বাস্তবায়নের পরামর্শ দিচ্ছি। টিএসকিউএল লুপগুলিও খুব কার্যকরভাবে কাজ করবে, তবে লেভেনস্টেইন দূরত্বের গণনা বড় ভলিউমের তুলনার জন্য টিএসকিউএলের চেয়ে অন্য ভাষায় দ্রুত হবে।
আমি কেবলমাত্র সেই উদ্দেশ্যে ডিজাইন করা অস্থায়ী টেবিলের বিপরীতে জয়েনের সিরিজ ব্যবহার করে বেশ কয়েকটি সিস্টেমে সম্পাদনার দূরত্ব কার্যকর করেছি। এটির জন্য কয়েকটি ভারী প্রাক-প্রক্রিয়াজাতকরণ পদক্ষেপ প্রয়োজন - অস্থায়ী টেবিলগুলির প্রস্তুতি - তবে এটি প্রচুর সংখ্যার তুলনায় খুব ভাল কাজ করে।
কয়েকটি কথায়: প্রাক-প্রক্রিয়াকরণটি টেম্প সারণীগুলি তৈরি, পপুলেটিং এবং সূচিকর্ম নিয়ে গঠিত। প্রথমটিতে রেফারেন্স আইডস, একটি-অক্ষরের কলাম এবং একটি চরিনডেক্স কলাম রয়েছে। উত্স তালিকার শব্দের যতগুলি সারি রয়েছে তার অক্ষরে অক্ষর তৈরি করতে প্রতিটি শব্দের অক্ষরে বিভক্ত করে (সलेक्ट নির্বাচন করুন) প্রতিটি সিরিজ সন্নিবেশ অনুসন্ধানের এই সিরিজটি চালিয়ে এই টেবিলটি পপুলেশন করা হয়েছে (আমি জানি, এটি অনেকগুলি সারি তবে এসকিউএল সার্ভার বিলিয়নগুলি পরিচালনা করতে পারে সারিগুলির)। তারপরে ২-অক্ষরের কলাম দিয়ে একটি দ্বিতীয় সারণী তৈরি করুন, অন্য একটি টেবিলের সাথে একটি 3-বর্ণের কলাম, ইত্যাদি। শেষ ফলাফলগুলি এমন একটি টেবিলের সিরিজ যা প্রতিটি শব্দের রেফারেন্স আইডি এবং সাবস্ট্রিংগুলি থাকে, পাশাপাশি তাদের অবস্থানের একটি রেফারেন্স দেয় contain শব্দে।
এটি শেষ হয়ে গেলে, পুরো গেমটি এই টেবিলগুলি অনুলিপি করা এবং তাদের নকলের বিরুদ্ধে তাদের কোনও গ্রুপ বাই সিলেক্ট ক্যোয়ারিতে যোগদান করে যা ম্যাচের সংখ্যা গণনা করে। এটি প্রতিটি সম্ভাব্য জোড় শব্দের জন্য ধারাবাহিক ব্যবস্থা তৈরি করে, যা পরে প্রতিটি জোড় শব্দের জন্য একক লেভেনস্টেইন দূরত্বে পুনরায় একত্রিত হয়।
টেকনিক্যালি এটি লেভেনস্টিন দূরত্বের (বা এর রূপগুলি) বেশিরভাগ অন্যান্য বাস্তবায়নের তুলনায় খুব আলাদা তাই আপনার লেভেনস্টাইন দূরত্ব কীভাবে কাজ করে এবং কেন এটি এটি যেমন নকশা করা হয়েছিল তা গভীরভাবে বুঝতে হবে। বিকল্পগুলি তদন্ত করুন কারণ সেই পদ্ধতির সাহায্যে আপনি অন্তর্নিহিত মেট্রিকগুলির একটি সিরিজ শেষ করেন যা একই সময়ে সম্পাদনার দূরত্বের অনেকগুলি বৈচিত্র গণনা করতে সহায়তা করতে পারে, আপনাকে আকর্ষণীয় মেশিন শেখার সম্ভাব্য উন্নতি সরবরাহ করবে।
এই পৃষ্ঠায় পূর্ববর্তী উত্তরগুলির দ্বারা ইতিমধ্যে উল্লিখিত আরেকটি বিষয়: দূরত্ব পরিমাপের প্রয়োজন হয় না এমন জোড়গুলি মুছতে যতটা সম্ভব প্রাক প্রক্রিয়া করার চেষ্টা করুন। উদাহরণস্বরূপ, দুটি শব্দের একটি জোড় যা একটি সাধারণ অক্ষর নেই সেগুলি বাদ দেওয়া উচিত, কারণ সম্পাদনার দূরত্বটি স্ট্রিংয়ের দৈর্ঘ্য থেকে পাওয়া যায়। অথবা একই শব্দের দুটি অনুলির মধ্যে দূরত্ব পরিমাপ করবেন না, কারণ এটি প্রকৃতির দ্বারা 0। বা পরিমাপটি করার আগে সদৃশগুলি সরিয়ে ফেলুন, যদি আপনার শব্দের তালিকাটি একটি দীর্ঘ পাঠ্য থেকে আসে তবে সম্ভবত একই শব্দগুলি একাধিকবার উপস্থিত হবে, সুতরাং কেবল একবার দূরত্ব পরিমাপ করলে প্রক্রিয়াজাতকরণের সময় সাশ্রয় হবে ইত্যাদি etc.