모델 성능 계산에서 누락 된 값 제외

Question

데이터 세트가 있고 모델을 빌드하고 싶습니다. caret 패키지를 사용하는 것이 좋습니다. 내 데이터는 실제로는 시계열이지만 문제는 시계열과 관련이 없으며 데이터 파티션으로 CreateTimeSlices으로 작업한다는 것입니다.

데이터에 특정 금액의 누락 값 NA가 있으며이 데이터를 caret 코드와 별도로 전송합니다.

# a logical vector same size as the data, which obs were imputed NA 
imputed=c(FALSE, FALSE, FALSE, TRUE, FALSE, FALSE) 
imputed[imputed] <- NA; print(imputed) 
#### [1] FALSE FALSE FALSE NA FALSE FALSE 

내가 NA을 제외하거나 다른 기법을 전가 중 하나에 캐럿 train 기능의 옵션이 알고 : 나는 또한 그 위치에 대한 기록을 유지했다. 그건 내가 이 아니라입니다. 이미 귀속 된 데이터 집합에 모델을 구축해야하지만 표시기 (RMSE, MAE, ...) 오류 계산에서 귀속 된 포인트를 제외하고 싶습니다.

캐럿에서이 작업을 수행하는 방법을 알지 못합니다. 내 첫 번째 스크립트에서 나는 수동으로 전체 교차 검증을 시도하고 나는 사용자 정의 오류 측정을했다 :

actual = c(5, 4, 3, 6, 7, 5) 
predicted = c(4, 4, 3.5, 7, 6.8, 4) 
Metrics::rmse(actual, predicted) # with all the points 
#### [1] 0.7404953 
sqrt(mean((!imputed)*(actual-predicted)^2 , na.rm=T)) # excluding the imputed 
#### [1] 0.676757 

가 어떻게 caret에서 일을 이런 식으로 처리 할 수 ​​있습니까? 아니면 손으로 모든 것을 코딩하지 않는 또 다른 방법이 있습니까?

Answer 1

당신이 이것을 찾고 있다면 알고 싶지 않지만 여기에 함수를 작성하여 간단한 해결책이 있습니다.

i=which(imputed==F) ## As you have index for NA values 

metric_na=function(fun, actual, predicted, index){ 
    fun(actual[index], predicted[index]) 
} 

metric_na(Metrics::rmse, actual, predicted, index = i) 
0.676757 
metric_na(Metrics::mae, actual, predicted, index = i) 
0.54 

원하는 메트릭을 계산하는 동안 색인을 직접 사용할 수도 있습니다.

Metrics::rmse(actual[i], predicted[i])