Kết hợp văn bản mờ C#

Question

Tôi đang viết giao diện người dùng trên máy tính để bàn (.Net WinForms) để hỗ trợ một nhiếp ảnh gia dọn sạch dữ liệu meta hình ảnh của mình. Có một danh sách gồm 66k cụm từ. Bất cứ ai có thể đề xuất một mã nguồn mở/miễn phí. NET thành phần tôi có thể sử dụng mà sử dụng một số loại thuật toán để xác định candiates tiềm năng cho hợp nhất? Ví dụ: có thể có hai hoặc nhiều mục nhập thực sự là cùng một từ hoặc cụm từ chỉ khác nhau theo khoảng trắng hoặc dấu câu hoặc thậm chí là sai chính tả nhỏ. Các ứng dụng cuối cùng sẽ dựa vào người dùng để hành động củng cố các cụm từ nhưng có một cách hiệu quả để tự động tìm các ứng cử viên tiềm năng sẽ chứng minh vô giá.

Answer 1

Hãy để tôi giới thiệu bạn với công thức khoảng cách Levenshtein. Nó là tuyệt vời:

http://en.wikipedia.org/wiki/Levenshtein_distance

Về lý thuyết thông tin và khoa học máy tính, khoảng cách Levenshtein là một chuỗi số liệu để đo lượng chênh lệch giữa hai chuỗi. Khoảng cách chỉnh sửa thuật ngữ thường được sử dụng để chỉ cụ thể đến khoảng cách Levenshtein.

Cá nhân tôi đã sử dụng tính năng này trong cài đặt chăm sóc sức khỏe, nơi tên nhà cung cấp được kiểm tra để sao y. Sử dụng quy trình Levenshtein, chúng tôi đã cho họ một đánh giá sự tự tin và cho phép họ xác định xem đó là một bản sao thực sự hay một cái gì đó độc đáo.