Mã hóa các bài đăng trên Twitter trong Lucene

Question

Câu hỏi của tôi tóm lại: Có ai biết một số TwitterAnalyzer hoặc TwitterTokenizer cho Lucene?

phiên bản chi tiết hơn:

Tôi muốn đánh chỉ mục một số tweets trong Lucene và giữ các điều khoản như @user hoặc #hashtag nguyên vẹn. StandardTokenizer không hoạt động vì nó loại bỏ dấu chấm câu (nhưng nó thực hiện các công cụ hữu ích khác như giữ tên miền, địa chỉ email hoặc nhận dạng từ viết tắt). Làm thế nào tôi có thể có một máy phân tích mà tất cả mọi thứ StandardTokenizer làm nhưng không chạm vào các điều khoản như @user và #hashtag?

Giải pháp hiện tại của tôi là xử lý trước văn bản tweet trước khi cho nó vào máy phân tích và thay thế các ký tự bằng các chuỗi chữ số khác. Ví dụ:

String newText = newText.replaceAll("#", "hashtag"); 
newText = newText.replaceAll("@", "addresstag"); 

Thật không may phương pháp này vi phạm địa chỉ email hợp pháp nhưng tôi có thể sống với điều đó. Cách tiếp cận đó có hợp lý không?

Cảm ơn trước!

AMAC

Answer 1

Các StandardTokenizer và StandardAnalyzer cơ bản vượt qua thẻ của bạn thông qua một StandardFilter (mà loại bỏ tất cả các loại nhân vật từ thẻ tiêu chuẩn của bạn như 's ở hai đầu của từ), tiếp theo là một bộ lọc Chữ thường (chữ thường lời nói của bạn) và cuối cùng là một StopFilter. Điều cuối cùng loại bỏ những từ không đáng kể như "as", "in", "for", v.v.

Những gì bạn có thể dễ dàng thực hiện để bắt đầu là triển khai trình phân tích của riêng bạn thực hiện giống như StandardAnalyzer nhưng sử dụng Trình tạo trắng như mục đầu tiên xử lý luồng đầu vào.

Để biết thêm thông tin chi tiết một trong những hoạt động bên trong của máy phân tích bạn có thể có một cái nhìn qua here

Answer 2

Có một tokenizer Twitter cụ thể ở đây: https://github.com/brendano/ark-tweet-nlp/blob/master/src/cmu/arktweetnlp/Twokenize.java

Answer 3

Một hướng dẫn về tokenizer cụ twitter mà là một phiên bản sửa đổi của API hòm-tweet-nlp có thể được tìm thấy tại http://preciselyconcise.com/apis_and_installations/tweet_pos_tagger.php API này có khả năng nhận dạng biểu tượng cảm xúc, thẻ bắt đầu bằng #, xen kẽ, vv trong một tweet

Answer 4

API Twitter có thể được trả về để trả lại tất cả Tweet, Bios v.v. "các thực thể" (hashtags, userIds, url vv) đã được phân tích cú pháp ra khỏi nội dung thành các bộ sưu tập.

https://dev.twitter.com/docs/entities

Vì vậy, không được bạn chỉ cần tìm kiếm một cách để tái làm điều gì đó mà các folks tại Twitter đã thực hiện cho bạn?

Answer 5

Twitter mã nguồn mở có quá trình văn bản lib, thực hiện xử lý thẻ cho hashtag, vv

như: HashtagExtractor https://github.com/twitter/commons/blob/master/src/java/com/twitter/common/text/extractor/HashtagExtractor.java

Nó là căn cứ vào TokenStream Lucene của.