왜 균일 분포의 엔트로피가 R의 반복 된 값보다 낮습니까?

Question

위키피디아에 따르면, 균일 분포는 "최대 엔트로피 확률 분포"입니다. 따라서 길이 k의 두 시퀀스 (균일하게 분포 된 값과 반복 된 값을 갖는 값)가있는 경우 균일하게 분포 된 시퀀스의 엔트로피가 반복 된 값의 시퀀스보다 높을 것으로 예상됩니다. R에 다음 코드를 실행하는 경우에는,이 관찰되지 무엇 : 제 엔트로피 정확히 10 개 비트를 생성하지만,

가

require(entropy) 
entropy(runif(1024), method="ML", unit="log2") 
entropy(rep(1,1024), method="ML", unit="log2") 

제 1 출력은 엔트로피의 약 9.7 비트를 생성을 (= 1024 (10)의베이스 2 로그). 왜 균일 분포가 10 비트 이상의 엔트로피를 가지지 않는가?

Answer 1

의 첫 번째 인수 인 y이 오해하고 있다고 생각합니다. ?entropy에서 언급했듯이 카운트 벡터를 제공합니다. 이러한 카운트는 함께이 "개별 정보 소스"의 메시지가 구성되는 각 기호의 상대 빈도를 제공합니다.

어떻게 실행되는지 보려면 두 개의 기호 (1/0, 켜기/끄기, A/B, 무엇이 있는지)가있는 이진 정보 소스의 간단한 예를 살펴보십시오. 이 경우, 다음의 모두 (즉, 반 심볼 A S이고 절반 B S이다) 두 문자의 상대적인 빈도가 동일한 한 소스의 엔트로피를 제공한다 :

entropy(c(0.5, 0.5)) 
# [1] 0.6931472 
entropy(c(1,1)) 
# [1] 0.6931472 
entropy(c(1000,1000)) 
# [1] 0.6931472 
entropy(c(0.0004, 0.0004)) 
# [1] 0.6931472 
entropy(rep(1,2)) 
# [1] 0.6931472 

때문에 이들 모두는 동일한 기본 분포를 지칭하며, 확률은 이용 가능한 심볼들 사이에서 최대한으로 퍼져 나가며, 이들은 각각 2- 상태 정보 소스 (log(2) = 0.6931472))에 대해 가능한 가장 높은 엔트로피를 제공한다.

대신 entropy(runif(2))을 사용하면 균일 배포에서 임의로 선택된 두 개의 기호에 대해 상대 확률을 제공하게됩니다. 두 개의 무작위로 선택된 숫자가 정확히 일치하지 않으면 entropy()에 다른 주파수로 사용되는 두 개의 기호가있는 정보 소스가 있다고 말합니다. 결과적으로 항상 log(2)보다 낮은 계산 된 엔트로피를 얻게됩니다.

set.seed(4) 
(x <- runif(2)) 
# [1] 0.585800305 0.008945796 
freqs.empirical(x) ## Helper function called by `entropy()` via `entropy.empirical()` 
# [1] 0.98495863 0.01504137 

## Low entropy, as you should expect 
entropy(x) 
# [1] 0.07805556 

## Essentially the same thing; you can interpret this as the expected entropy 
## of a source from which a message with 984 '0's and 15 '1's has been observed 
entropy(c(984, 15)) 

요약

---

이 entropy(rep(1, 1024))에서와 같이 y= 인수를 1의 긴 문자열을 전달하여, 당신은 이산 인 정보 소스를 기술하고 있습니다 : 여기가 무슨 뜻인지 설명하기 위해 간단한 예입니다 균일 한 분포의 아날로그. 장기적으로 또는 매우 긴 메시지에서 1024 자의 문자가 모두 동일한 빈도로 발생해야하며, 그 이상의 유니폼을 얻을 수 없습니다!