Phân tích ý kiến ​​không được giám sát

Question

Tôi đã đọc rất nhiều bài viết giải thích sự cần thiết cho một tập hợp văn bản ban đầu được phân loại là 'dương' hoặc 'tiêu cực' trước khi hệ thống phân tích tình cảm thực sự hoạt động.

Câu hỏi của tôi là: Có ai cố gắng kiểm tra tính từ 'tích cực' và tính từ 'phủ định', có tính đến bất kỳ từ chối đơn giản nào để tránh phân loại 'không hạnh phúc' là tích cực không? Nếu có, có bài viết nào chỉ thảo luận tại sao chiến lược này không thực tế không?

Answer 1

Một classic paper by Peter Turney (2002) giải thích một phương pháp để làm phân tích tình cảm không có giám sát (dương/phân loại tiêu cực) chỉ sử dụng các từ xuất sắc và người nghèo làm nhóm hạt giống. Turney sử dụng mutual information các từ khác với hai tính từ này để đạt được độ chính xác 74%.

Answer 2

Tôi chưa thử phân tích tình cảm chưa được đào tạo như bạn đang mô tả, nhưng trên đỉnh đầu tôi muốn nói bạn đang quá đơn giản hóa vấn đề. Đơn giản phân tích tính từ là không đủ để nắm bắt tốt tình cảm của một văn bản; ví dụ, hãy xem từ 'ngu ngốc'. Một mình, bạn sẽ phân loại đó là tiêu cực, nhưng nếu đánh giá sản phẩm là có '... [x] sản phẩm khiến đối thủ cạnh tranh của họ trông ngu ngốc vì không nghĩ đến tính năng này trước ...' thì tình cảm trong đó chắc chắn sẽ dương . Bối cảnh lớn hơn trong đó các từ xuất hiện chắc chắn là vấn đề trong một cái gì đó như thế này. Đây là lý do tại sao một cách tiếp cận túi-of-từ chưa được đào tạo một mình (hãy để một mình một túi tính hạn chế thậm chí còn hạn chế hơn) là không đủ để giải quyết vấn đề này đầy đủ.

Dữ liệu được phân loại trước ('dữ liệu đào tạo') giúp vấn đề chuyển từ cố gắng xác định xem văn bản có tình cảm tích cực hay tiêu cực từ đầu, để xác định xem văn bản có giống với văn bản tích cực hơn không hoặc văn bản tiêu cực và phân loại theo cách đó. Điểm lớn khác là phân tích văn bản như phân tích tình cảm thường bị ảnh hưởng rất nhiều bởi sự khác biệt về đặc điểm của văn bản tùy thuộc vào miền. Đây là lý do tại sao có một bộ dữ liệu tốt để đào tạo (có nghĩa là, dữ liệu chính xác từ bên trong miền bạn đang làm việc và hy vọng đại diện cho các văn bản bạn sẽ phải phân loại) cũng quan trọng như xây dựng tốt để phân loại.

Không chính xác một bài viết, nhưng hy vọng điều đó sẽ hữu ích.

Answer 3

Tôi đã cố gắng phát hiện từ khóa bằng từ điển ảnh hưởng đến dự đoán nhãn tình cảm ở cấp câu. Với tính tổng quát của từ vựng (không phụ thuộc vào miền), kết quả chỉ khoảng 61%. Bài báo có sẵn trong trang chủ của tôi.

Trong phiên bản được cải thiện một chút, các trạng từ phủ định được xem xét. Toàn bộ hệ thống, tên EmoLib, có sẵn cho bản demo:

http://dtminredis.housing.salle.url.edu:8080/EmoLib/

Kính trọng,

Answer 4

David,

Tôi không chắc chắn nếu điều này giúp nhưng bạn có thể muốn xem xét Jacob Perkin của blog post về việc sử dụng NLTK để phân tích tình cảm.

Answer 5

Không có "lối tắt" ma thuật trong phân tích tình cảm, như với bất kỳ loại phân tích văn bản nào khác tìm cách khám phá "sự quan tâm" cơ bản của một đoạn văn bản. Cố gắng cắt ngắn các phương pháp phân tích văn bản đã được chứng minh thông qua việc kiểm tra tính từ "đơn giản" hoặc các cách tiếp cận tương tự dẫn đến sự mơ hồ, phân loại không chính xác, v.v ... vào cuối ngày. Nguồn càng chi tiết (ví dụ: Twitter), vấn đề càng khó khăn hơn.

Answer 6

Giấy của Turney (2002) được đề cập bởi larsmans là một cơ bản tốt. Trong một nghiên cứu mới hơn, Li and He [2009] giới thiệu cách tiếp cận sử dụng Latent Dirichlet Allocation (LDA) để đào tạo một mô hình có thể phân loại tình cảm và chủ đề tổng thể của bài viết cùng một lúc theo cách hoàn toàn không được giám sát. Độ chính xác mà họ đạt được là 84,6%.

Answer 7

Tôi đã thử một số phương pháp Phân tích tình cảm để khai thác ý kiến ​​trong Bài đánh giá. Điều làm việc tốt nhất cho tôi là phương pháp được mô tả trong sách Liu: http://www.cs.uic.edu/~liub/WebMiningBook.html Trong cuốn sách này Liu và những người khác, so sánh nhiều chiến lược và thảo luận các bài báo khác nhau về Phân tích tình cảm và Khai thác ý kiến.

Mặc dù mục tiêu chính của tôi là trích xuất các tính năng trong ý kiến, tôi đã triển khai trình phân loại tình cảm để phát hiện phân loại tích cực và tiêu cực của các tính năng này.

Tôi đã sử dụng NLTK cho việc xử lý trước (Thẻ thông tin từ, gắn thẻ POS) và tạo hình tam giác. Sau đó, tôi cũng sử dụng các phân loại Bayesian bên trong này để so sánh với các chiến lược khác mà Liu đã xác định chính xác.

Một trong các phương pháp dựa vào việc gắn thẻ là pos/neg mỗi trigrram thể hiện thông tin này và sử dụng một số trình phân loại trên dữ liệu này. Phương pháp khác tôi đã thử và làm việc tốt hơn (khoảng 85% độ chính xác trong tập dữ liệu của tôi), đã tính toán tổng điểm của PMI (thông tin chung thời) cho mỗi từ trong câu và các từ xuất sắc/nghèo/neg class.