Tôi có một bảng sản phẩm SQL Server và mỗi sản phẩm đều có mô tả công khai trên trang web của chúng tôi. Tôi muốn ngăn chặn hoặc ít nhất cảnh báo người dùng của chúng tôi khi nào, mô tả quá giống với mô tả của sản phẩm khác. Chiều dài mô tả của mỗi sản phẩm có thể rất khác nhau.SQL - Tương tự giữa hai chuỗi có độ dài khác nhau
Tôi muốn truy vấn cho các sản phẩm có mô tả bao gồm các đoạn văn bản/văn bản trùng lặp/tương tự nhau. tức là chuỗi A có một loạt các nội dung độc đáo, nhưng chia sẻ một tương tự/giống hệt đoạn w/chuỗi B. Tuy nhiên, tôi không chắc chắn tương tự thuật toán là tốt nhất để sử dụng:
Các Levenshtein distance và Jaro-Winler distance thuật toán xuất hiện chỉ hoạt động tốt với các chuỗi ngắn.
Tôi không chắc chắn số longest common subsequence algorithm có tính đến sự khác biệt lớn rất tốt. nghĩa là nó dường như bỏ qua khoảng trống tiềm năng giữa hai ký tự, tìm ra bất kỳ chuỗi kết hợp tương tự nào.
Fuzzy hashing loại âm thanh gì tôi đang tìm kiếm, nhưng tôi không chỉ tìm kiếm nội dung trùng lặp w/khác biệt tinh tế. Tôi là cũng tìm kiếm nội dung trùng lặp với sự khác biệt tinh tế được tiêm trong khối văn bản duy nhất. Và tôi không có ý tưởng làm thế nào để thực hiện băm mờ trong SQL. SOUNDEX() và DIFFERENCE() xuất hiện để sử dụng băm mờ, nhưng khá không chính xác cho trường hợp sử dụng của tôi.
Lý tưởng nhất là hàm SQL tương tự sẽ nhanh, nhưng tôi có thể lưu trữ các giá trị tương tự được lưu trong bộ nhớ cache trong một bảng khác và lên lịch công việc để thỉnh thoảng cập nhật.
Triển khai thuật toán/SQL (hoặc tích hợp CLR) tốt nhất để thực hiện điều này là gì?
Tại sao bạn hạn chế bản thân thực hiện điều này trong SQL? –
Vâng, tôi cho rằng nó không cần phải có trong SQL. Tuy nhiên, tôi giả sử một triển khai SQL thuần túy sẽ có hiệu suất cao hơn. Tôi có khả năng có thể sử dụng một hội nhập NET CLR như [thư viện tương tự này] (http://blog.hoegaerden.be/2011/02/05/finding-similar-strings-with-fuzzy-logic-functions-built-into- mds /) ... nhưng tôi không có kinh nghiệm với SQL Server CLR hội nhập và tôi vẫn sẽ không biết những gì thuật toán để sử dụng. –
Một điều bạn có thể thử là để lấy chuỗi và chỉ xem xét trường hợp của một số chữ cái, sau đó Levenshtein những chuỗi.Ví dụ: lấy một văn bản như "Lorem ipsum dolor sit amet" và chỉ xem xét các trường hợp của e và t. Chuỗi kết quả sẽ là etet, mà bạn có thể Levenshtein chống lại một chuỗi được lọc khác. Rõ ràng đòi hỏi một số điều chỉnh, nhưng hy vọng bạn sẽ có được ý tưởng. – kevmo314