Các kỹ thuật tìm kiếm các bản ghi trùng lặp gần

Question

Tôi đang cố gắng dọn sạch một cơ sở dữ liệu, trong nhiều năm, đã có nhiều bản ghi trùng lặp, với các tên hơi khác nhau. Ví dụ, trong bảng công ty, có những cái tên như "Some Company Limited" và "MỘT SỐ CÔNG TY TNHH!". Kế hoạch của tôi là xuất các bảng vi phạm thành R, chuyển đổi tên thành chữ thường, thay thế các từ đồng nghĩa chung (như "limited" -> "ltd"), loại bỏ các ký tự không phải chữ cái và sau đó sử dụng agrep để xem giống.

Vấn đề đầu tiên của tôi là agrep chỉ chấp nhận một mẫu duy nhất để khớp và lặp lại mọi tên công ty để khớp với tên công ty khác chậm. (Một số bàn sẽ được làm sạch sẽ có hàng chục, có thể là hàng trăm nghìn tên để kiểm tra.)

Tôi đã xem qua gói tm (JSS article) và có vẻ rất mạnh mẽ nhưng hướng tới phân tích các khối lớn văn bản, chứ không chỉ là tên.

Tôi có một số câu hỏi liên quan:

1. là thích hợp tm gói cho loại nhiệm vụ?

2. Có giải pháp thay thế nhanh hơn cho agrep không? (Said chức năng sử dụng Levenshtein chỉnh sửa khoảng cách đó là giai thoại chậm.)

3. Có các công cụ thích hợp khác trong R, ngoài agrep và tm?

4. Tôi có nên làm điều này trong R hay không, hoặc loại điều này có phải là được thực hiện trực tiếp trong cơ sở dữ liệu không? (Đây là một cơ sở dữ liệu truy cập, vì vậy tôi muốn thay vì tránh chạm vào nó nếu có thể.)

Answer 1

Nếu bạn chỉ cần làm theo lô nhỏ được tương đối tốt được hình thành, thì compare.linkage() hoặc compare.dedup() chức năng trong RecordLinkage package nên là một điểm khởi đầu tuyệt vời. Nhưng nếu bạn có lô lớn, thì bạn có thể phải làm thêm một số tinkering.

tôi sử dụng các chức năng jarowinkler(), levenshteinSim(), và soundex() trong RecordLinkage để viết chức năng riêng của tôi có sử dụng chương trình trọng của riêng tôi (cũng như nó có, bạn có thể không sử dụng soundex() cho các tập dữ liệu lớn với RecordLinkage).

Nếu tôi có hai danh sách tên mà tôi muốn khớp ("liên kết ghi"), thì tôi thường chuyển đổi cả hai thành chữ thường và xóa tất cả các dấu chấm câu. Để chăm sóc "Limited" so với "LTD", tôi thường tạo một vectơ khác của từ đầu tiên từ mỗi danh sách, cho phép thêm trọng số vào từ đầu tiên. Nếu tôi nghĩ rằng một danh sách có thể chứa từ viết tắt (có thể là ATT hoặc IBM) thì tôi sẽ viết tắt danh sách khác. Đối với mỗi danh sách, tôi kết thúc với một khung dữ liệu của các chuỗi mà tôi muốn so sánh mà tôi viết dưới dạng các bảng riêng biệt trong cơ sở dữ liệu MySQL.

Vì vậy mà tôi không kết thúc với quá nhiều ứng cử viên, tôi LEFT OUTER JOIN hai bảng này trên một cái gì đó có để phù hợp giữa hai danh sách (có thể đó là ba chữ cái đầu tiên trong mỗi danh sách hoặc ba người đầu tiên chữ cái và ba chữ cái đầu tiên trong từ viết tắt).Sau đó, tôi tính toán điểm số trận đấu bằng cách sử dụng các chức năng trên.

Bạn vẫn phải thực hiện rất nhiều kiểm tra thủ công, nhưng bạn có thể sắp xếp điểm số để nhanh chóng loại trừ các kết quả không phù hợp.

Answer 2

Có thể google refine có thể hữu ích. Nó trông có vẻ được trang bị nhiều hơn nếu bạn có rất nhiều ngoại lệ và bạn chưa biết tất cả chúng.

Answer 3

Những gì bạn đang làm được gọi là record linkage và đây là một lĩnh vực nghiên cứu rất lớn trong nhiều thập kỷ rồi. May mắn cho bạn, có một loạt các công cụ hiện có mà sẵn sàng thực hiện cho loại điều này. Về cơ bản, bạn có thể chỉ cho họ cơ sở dữ liệu của bạn, thiết lập một số làm sạch và so sánh (như Levenshtein hoặc Jaro-Winkler hoặc ...), và họ sẽ đi và làm công việc cho bạn.

Những công cụ này thường có các tính năng để giải quyết các vấn đề hiệu suất, vì vậy mặc dù Levenshtein chậm nhưng chúng có thể chạy nhanh vì hầu hết các cặp bản ghi không bao giờ được so sánh.

Liên kết Wikipedia ở trên có liên kết đến một số công cụ liên kết bản ghi mà bạn có thể sử dụng. Cá nhân tôi đã viết một tên gọi là Duke trong Java, mà tôi đã sử dụng thành công cho chính xác điều này. Nếu bạn muốn một cái gì đó lớn và đắt tiền, bạn có thể mua một công cụ Quản lý dữ liệu chính.

Answer 4

Trong trường hợp của bạn có lẽ là một cái gì đó giống như tính toán chỉnh sửa khoảng cách sẽ làm việc, nhưng nếu bạn cần phải tìm gần bản sao trong tài liệu văn bản dựa lớn hơn, bạn có thể thử http://www.softcorporation.com/products/neardup/