Cây quyết định trọng số sử dụng Entropy

Question

Tôi đang xây dựng một cây phân loại nhị phân bằng cách sử dụng mutual information gain làm hàm tách. Nhưng vì dữ liệu huấn luyện bị lệch về một vài lớp, nên cân nhắc mỗi ví dụ đào tạo theo tần suất lớp nghịch đảo.

Làm cách nào để cân trọng lượng dữ liệu đào tạo? Khi tính toán xác suất để ước lượng entropy, tôi có tính trung bình trọng số không?

EDIT: Tôi muốn một biểu thức cho entropy với trọng số.

Answer 1

Nhà nước có giá trị entropy trọng như một biện pháp rủi ro đầu tư.
http://www56.homepage.villanova.edu/david.nawrocki/State%20Weighted%20Entropy%20Nawrocki%20Harding.pdf

Answer 2

Bài viết trên Wikipedia mà bạn trích dẫn sẽ đi vào trọng số. Nó nói:

biến Weighted
Trong việc xây dựng truyền thống của thông tin lẫn nhau,

mỗi sự kiện hoặc đối tượng theo quy định của (x, y) là trọng bởi xác suất tương ứng p (x, y). Điều này giả định rằng tất cả các đối tượng hoặc sự kiện là tương đương ngoài xác suất xảy ra của chúng. Tuy nhiên, trong một số ứng dụng, có thể trường hợp một số đối tượng hoặc sự kiện nào đó quan trọng hơn các đối tượng khác hoặc các mẫu liên kết nhất định quan trọng về mặt ngữ nghĩa hơn so với các đối tượng khác.

Ví dụ: ánh xạ xác định {(1,1), (2,2), (3,3)} có thể được xem là mạnh hơn (theo một số tiêu chuẩn) so với ánh xạ xác định {(1,3), (2,1), (3,2)}, mặc dù các mối quan hệ này sẽ mang lại cùng một thông tin lẫn nhau. Điều này là do thông tin lẫn nhau không nhạy cảm với bất kỳ thứ tự vốn có nào trong các giá trị biến (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970), và do đó không nhạy cảm với hình thức ánh xạ quan hệ giữa các biến liên quan . Nếu nó là mong muốn rằng các cựu quan - cho thấy thỏa thuận về tất cả các giá trị biến - được đánh giá mạnh hơn so với mối quan hệ sau, sau đó nó có thể sử dụng các thông tin lẫn nhau trọng sau (Guiasu 1977)

mà nơi trọng số w (x, y) trên xác suất của mỗi lần xuất hiện giá trị biến, p (x, y). Điều này cho phép xác suất nhất định có thể mang ý nghĩa nhiều hơn hoặc ít hơn so với những xác suất khác, do đó cho phép định lượng các yếu tố toàn diện hoặc prägnanz có liên quan. Trong ví dụ trên, sử dụng trọng số tương đối lớn hơn cho w (1,1), w (2,2) và w (3,3) sẽ có tác dụng đánh giá tính thông tin lớn hơn cho mối quan hệ {(1,1), (2,2), (3,3)} so với mối quan hệ {(1,3), (2,1), (3,2)}, có thể được mong muốn trong một số trường hợp nhận dạng mẫu và tương tự.

http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants