Xác thực chéo mô hình CART

Question

Trong một bài tập, chúng tôi được yêu cầu thực hiện xác thực chéo trên mô hình CART. Tôi đã thử sử dụng chức năng cvFit từ cvTools nhưng nhận được thông báo lỗi lạ. Dưới đây là một ví dụ nhỏ:

library(rpart) 
library(cvTools) 
data(iris) 
cvFit(rpart(formula=Species~., data=iris)) 

Các lỗi tôi nhìn thấy là:

Error in nobs(y) : argument "y" is missing, with no default 

Và traceback():

5: nobs(y) 
4: cvFit.call(call, data = data, x = x, y = y, cost = cost, K = K, 
     R = R, foldType = foldType, folds = folds, names = names, 
     predictArgs = predictArgs, costArgs = costArgs, envir = envir, 
     seed = seed) 
3: cvFit(call, data = data, x = x, y = y, cost = cost, K = K, R = R, 
     foldType = foldType, folds = folds, names = names, predictArgs = predictArgs, 
     costArgs = costArgs, envir = envir, seed = seed) 
2: cvFit.default(rpart(formula = Species ~ ., data = iris)) 
1: cvFit(rpart(formula = Species ~ ., data = iris)) 

Có vẻ rằng y là bắt buộc đối với cvFit.default. Nhưng:

> cvFit(rpart(formula=Species~., data=iris), y=iris$Species) 
Error in cvFit.call(call, data = data, x = x, y = y, cost = cost, K = K, : 
    'x' must have 0 observations 

Tôi đang làm gì sai? Gói nào sẽ cho phép tôi thực hiện xác thực chéo với cây CART mà không phải tự mã hóa? (Tôi sooo lười biếng ...)

Answer 1

Gói caret làm kiểm chứng chéo một snap:

> library(caret) 
> data(iris) 
> tc <- trainControl("cv",10) 
> rpart.grid <- expand.grid(.cp=0.2) 
> 
> (train.rpart <- train(Species ~., data=iris, method="rpart",trControl=tc,tuneGrid=rpart.grid)) 
150 samples 
    4 predictors 
    3 classes: 'setosa', 'versicolor', 'virginica' 

No pre-processing 
Resampling: Cross-Validation (10 fold) 

Summary of sample sizes: 135, 135, 135, 135, 135, 135, ... 

Resampling results 

    Accuracy Kappa Accuracy SD Kappa SD 
    0.94  0.91 0.0798  0.12  

Tuning parameter 'cp' was held constant at a value of 0.2 

Answer 2

Cuối cùng, tôi đã có thể có được nó để làm việc. Như Joran đã lưu ý, tham số cost cần được điều chỉnh. Trong trường hợp của tôi, tôi đang sử dụng lỗ 0/1, có nghĩa là tôi sử dụng hàm đơn giản đánh giá != thay vì - giữa y và yHat. Ngoài ra, predictArgs phải bao gồm c(type='class'), nếu không cuộc gọi predict được sử dụng trong nội bộ sẽ trả về một vectơ xác suất thay vì phân loại có thể xảy ra nhất. Tóm lại:

library(rpart) 
library(cvTools) 
data(iris) 
cvFit(rpart, formula=Species~., data=iris, 
     cost=function(y, yHat) (y != yHat) + 0, predictArgs=c(type='class')) 

(này sử dụng một biến thể của cvFit args bổ sung để rpart thể được thông qua bằng cách thiết lập các thông số args=..)