dòng tìm kiếm thất bại trong việc đào tạo ksvm prob.model

Question

Theo dõi từ Invalid probability model for large support vector machines using ksvm in R:

tôi đang đào tạo một SVM sử dụng ksvm từ gói kernlab trong R. Tôi muốn sử dụng mô hình xác suất, nhưng trong quá trình sigmoid phù hợp tôi nhận được thông báo lỗi sau:

line search fails -1.833726 0.5772808 5.844462e-05 5.839508e-05 -1.795008e-08 
-1.794263e-08 -2.096847e-12 

Khi điều này xảy ra, giá trị kết quả của prob.model(m) là một vector của tất cả các xác suất, chứ không phải là thông số mong đợi của một hàm sigmoid trang bị trên các xác suất. Điều gì gây ra lỗi này và làm cách nào để ngăn chặn lỗi này? Tìm kiếm thông báo lỗi không mang lại kết quả nào.

dụ tái sản xuất:

load(url('http://roelandvanbeek.nl/files/df.rdata')) 
ksvm(label~value,df[1:1000],C=10,prob.model=TRUE)->m 
prob.model(m) # works as it should, prints a list containing one named list 

# the below, non-working problem, unfortunately takes an hour due to the large 
# sample size 
ksvm(label~value,df,C=10,prob.model=TRUE)->m # line search fails 
prob.model(m) # just a vector of values 

Answer 1

Nhìn vào mã nguồn, this is the line that throws that error.

Đó là phương pháp .probPlatt sử dụng phương pháp Newton để tối ưu hóa hàm, trong trường hợp này là mở rộng quy mô của Platt. Nếu bạn kiểm tra line 3007 mặc dù bạn sẽ thấy một số thông số liên quan đến phương pháp.

Một trong các tham số đó là minstep về cơ bản là bước số nhỏ nhất mà phương pháp nên tiếp tục cố gắng tối ưu hóa hàm. Bạn thấy đấy, đây chính là điều kiện của lỗi trong dòng 3090: if (stepsize < minstep). Vì vậy, về cơ bản, chức năng không hội tụ, ngay cả khi đạt đến kích thước bước tối thiểu.

Bạn có thể thử thay đổi minstep thành giá trị thấp hơn để phá vỡ nó. Alexandros thậm chí còn bình luận những thông số này có lẽ nên ở trong giao diện.