2 단계 결정에서 정보 엔트로피를 계산하는 방법은 무엇입니까?

Question

나는 정보 이론 분야에서 "조건부 엔트로피"와 관련된 질문을 가지고있다. 나는 내 머리를 감싸려고 노력하고 있지만 도움을받을 수 있습니다. 우리가 4 채의 집을 가지고있는 예를 생각해보십시오. 첫 번째 집에는 8 명이 있고, 두 번째 집에는 네 명이 살고 있고, 세 번째 집에는 두 명이 있고 네 번째 집에는 두 사람이 있습니다. 그래서 4 채의 집과 16 명의 사람들. 제가이 사람들 중 한 명을 무작위로 선택하면, 그 선택은 16 명 중 하나의 선택입니다. 그 선택에 대해 4 비트의 정보 엔트로피가 생성됩니다.

그러나 이제는 두 단계 선택을 고려한 후 처음에는 임의로 한 집을 선택하고 선택한 집에있는 사람들 중 한 명을 선택합니다. 따라서 이용 가능한 네 개의 하우스에서 하나의 하우스를 선택하는 첫 번째 단계는 정보 엔트로피의 두 비트를 생성합니다. 그러나 이제 25 %의 시간 동안 첫 집을 골라 내고, 두 번째 단계는 첫 집에서 8 명 중 한 명을 선택하는 데 3 비트를 더합니다. 다른 25 %의 경우 두 번째 집에 살고있는 네 명 중 한 명을 선택하기 위해 또 다른 두 비트 만 있으면됩니다. 그리고 마지막으로, 절반의 경우에 세 번째 하우스 또는 네 번째 하우스에 살고있는 한 쌍의 사람을 선택하는 데 단 하나의 비트 만 있으면됩니다.

2 단계 접근법에 대한 비트 카운트의 가중 평균은 단일 단계 방법에 필요한 것과 동일한 4 비트 합계를 생성해야합니다. 하지만 나는 수치를 합산 할 수 없으므로 내가 생각하는 것보다 수학에 더 많은 것이 분명히있다. 난 당신이 단순히과 같이 확률을 추가 할 수 있어야한다고 기대하고 있었다 :

(picking a house) + (picking a person in that house) == 

log(4) + [(1/4)*log(8) + (1/4)*log(4) + (1/4)*log(2) + (1/4)*log(2)] 

하지만이 3.75 비트, 그리고 내가 기대하고있는 4 비트의 결과를 생성합니다. 여기에 이것을 평가하는 데 사용했던 약간의 파이썬이 있습니다.

from math import log 
def log2(x): 
    return log(x,2) 
x = log2(4) + ((1.0/4)*log2(8) + (1.0/4)*log2(4) + (1.0/4)*log2(2) + (1.0/4)*log2(2)) 
print x 

내 그림에는 뭔가가 없습니다. 누구든지 올바른 방향으로 나를 가리킬 수 있습니까?

Answer 1

무작위로 주택을 선택하면 (균일 확률로 UP) 임의로 (UP) 거주자를 선택하면 이 아닌 중 하나를 선택하십시오. 다소 비뚤어졌습니다 당연히 더 낮은 엔트로피 (UP는 엔트로피를 최대화 함)를 산출한다. 8 명의 사람들이 각각 1/32의 확률로 선택되고, 4 명은 각각 1/16의 확률로 선택되고 나머지 4 명은 각각 1/8 확률로 선택됩니다. 이 배포판은 다른 접근 방식으로 계산 한 것과 같이 엔트로피가 3.75 비트입니다.