FSelector 정보는 무엇을 측정합니까?

Question

R 패키지 FSelector를 제대로 사용하는 방법, 특히 해당 information.gain 함수를 이해하려고합니다. According to the documentation :

information gain = H(class) + H(attribute) - H(class,attribute) 

이러한 수량은 무엇을 의미합니까? 그리고 그것들은 Information Gain의 표준 정의와 어떻게 관련이 있습니다. 내가 아는 한, attribute = H(S) - sum p(S_i)H(S_i)에 의한 정보 이득 H(.)은 엔트로피입니다. S은 분할되지 않은 집합입니다. S_i은 속성에 의해 유도 된 S의 서브 세트입니다. 및 p(S_i) = |S_i|/|S|.

정보 이득이라는 개념을 사용하는 다른 패키지가 있는지 알고 싶습니다.

도움 주셔서 감사합니다.

Answer 1

FSelector 및 그 기능의 기본 개념은 데이터 집합에서 발견되는 최상의 속성 조합을 선택하는 것입니다. 어쩌면, 일부 속성은 다루지 않는 데이터 집합에 따라 불필요한 데이터 일 수 있습니다.

information.gain은 "정보 이득"에 따라 최상의 속성 조합을 선택하는 기능입니다. 이 기능은 엔트로피 (Entropy)를 기반으로합니다 (그것에 관한 많은 문서를 읽을 수 있습니다). 여기

유명한 IRIS 데이터 세트 ( http://rgm3.lab.nig.ac.jp/RGM/R_rdfile?f=FSelector/man/information.gain.Rd&d=R_CC에 전체 예를 참조)를 사용하는 예입니다 가장 중요한 속성이 Petal.Width 및 Petal.Length

있습니다 것을 의미

library(FSelector) 
data(iris) 

weights <- information.gain(Species~., iris) 
print(weights) 

subset <- cutoff.k(weights, 2) 

f <- as.simple.formula(subset, "Species") 
print(f) 

유사한 기능을 사용하는 많은 라이브러리! (RWeka, CORElearn, FSelector ...)