캐럿에서 다른 ROC 설정 점 선택

Question

메트릭 = ROC (AUC를 최대화한다고 생각 함) 대신에 캐럿 트레인 기능에서 다른 ROC 설정 점을 선택할 수 있습니까? 예를 들어

:

구체적

random.forest.orig <- train(pass ~ x+y, 
       data = meter.train, 
       method = "rf", 
       tuneGrid = tune.grid, 
       metric = "ROC", 
       trControl = train.control) 

I는 2 급 문제 (실패 또는 전달)하고 난 여전히> 80 %의 실패 정확성 (또는 음의 예측 값)을 유지하면서, 예측은 실패 극대화 할 . 즉 매 10 회 실패 할 때마다 적어도 8 개가 정확하다고 예측합니다.

Answer 1

정확도 대신 AUC를 사용하여 모델의 매개 변수를 조정하도록 caret::trainControl() 객체를 사용자 정의 할 수 있습니다. 자세한 내용은 caret documentation을 확인하십시오. (built-in function, twoClassSummary는 ROC 곡선 아래의 감도, 특이성 및 면적을 계산합니다).

fitControl <- caret::trainControl(
    method = "cv", 
    number = 5, 
    summaryFunction = twoClassSummary, 
    classProbs = TRUE, 
    verboseIter = TRUE 
) 

가 그래서 코드가 조정됩니다 :

주 : 5 배 CV를 사용하는 예는 아래 수준의 확률을 계산하기 위해, pass 기능 요소를 여기

해야합니다 조금 :

random.forest.orig <- train(pass ~ x+y, 
      data = meter.train, 
      method = "rf", 
      tuneGrid = tune.grid, 
      metric = "ROC", 
      trControl = fitControl) 

# Print model to console to examine the output 
random.forest.orig