저는 분할 기능으로 mutual information gain을 사용하여 이진 분류 트리를 구축하고 있습니다. 그러나 훈련 데이터가 몇 가지 클래스로 기울어 져 있으므로 각 클래스의 예제를 역 클래스 빈도로 가중치를 부여하는 것이 좋습니다.엔트로피를 사용하는 가중 의사 결정 트리
교육 데이터의 무게는 어떻게 조정합니까? 엔트로피를 추정 할 확률을 계산할 때 가중 평균을 취합니까?
편집 : 나는 가중치로 엔트로피에 대한 표현을 원합니다.
인용 한 위키 피 디아의 기사 가중치가 적용됩니다. 그것은 말한다 대응하는 확률 (P)에 의해 가중된다
가중 변형 상호 정보의 전통적인 제제
,
각 이벤트 또는 (X, Y)에 의해 지정된 개체 (x, y). 이것은 모든 객체 또는 이벤트가 발생 확률을 제외하고 동일하다고 가정합니다. 그러나 일부 응용 프로그램에서는 특정 개체 또는 이벤트가 다른 개체보다 중요하거나 특정 패턴의 연결이 다른 개체보다 의미 상 중요 할 수 있습니다.
예를 들어 결정 론적 매핑 {(1,1), (2,2), (3,3)}은 결정적 매핑 {(1,3), (2,1), (3,2)}이 관계는 동일한 상호 정보를 산출합니다. 이것은 상호 정보가 변수 값 (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970)의 고유 한 순서에 전혀 민감하지 않기 때문에 연관 변수 간의 관계 매핑의 형태에 전혀 민감하지 않기 때문입니다 . 모든 변수 값에 대한 동의를 나타내는 - -가 이전 관계가 요구되는 경우 이후의 관계보다 강한 심판, 다음과 가중 상호 정보를 사용하여 (1977 Guiasu)
장소 가능 각 변수 값 공존의 확률에 대한 가중치 w (x, y), p (x, y). 이것은 특정 확률이 다른 것보다 중요성을 더 많이 또는 더 적게 나타낼 수있게함으로써 관련 전체 론적 또는 프라그 얀츠 요인의 정량화를 허용합니다. 위의 예에서 w (1,1), w (2,2) 및 w (3,3)에 대한 더 큰 상대 가중치를 사용하면 관계 {(1,1), 패턴 인식의 몇몇 경우에 바람직 할 수있는 관계 {(1,3), (2,1), (3,2)}에 대한 것보다 (2,2,2), (3,3) 투자 위험의 척도로서
http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants
예, 알았습니다. 나는 엔트로피의 가중 버전을 원했다. 나는 다양한 엔트로피 예측을 사용하여 상호 정보와 비슷한 점수를 계산합니다. – Jacob
역 클래스 빈도가 가중치 요소가 아닙니까? –
예, 질문에서 언급했듯이 "각 클래스를 역 클래스 빈도로 가중치를 적용하는 것이 좋습니다." – Jacob
위키 정보를 이미 알고 있다고 가정합니다. 그래서 어떤 문제를 해결하려고합니까? –