알고리즘 em : 이해 및 예

Question

패턴 인식을 연구 중이며 흥미로운 알고리즘 인 Expectations Maximization Algorithm을 발견했습니다. 나는 확률과 통계에 대한 지식이별로 없으며 정규 분포 또는 가우시안 분포에 대한 알고리즘 작동에 대한 기사를 읽었지만 간단한 예제를 통해 더 잘 이해할 수 있습니다. 이 예가 적합 할 수 있기를 바랍니다.

우리는 빨강, 녹색, 파랑의 3 가지 색상이있는 병이 있다고 가정합니다. 각 색깔의 공을 그릴 확률은 pr, pg, pb이다. = 1/4

페이지 = 1/4 + P/4

PB = 1/

홍보 : 지금, 우리는 다른 색깔을 그리기의 확률에 대해 다음 매개 변수화 모델을 가지고 있다고 가정하자 2 - p/4

p는 알 수없는 매개 변수입니다. 실험을하고있는 사람은 실제로 색맹이며 녹색 공에서 빨간색을 식별 할 수 없다고 가정합니다. 그는 N 개의 볼을 가져 오지만, m1 = nR + nG 빨강/녹색 볼과 m2 = nB 파랑 볼 만 볼 수 있습니다.

질문은 사람이 여전히 매개 변수 p를 추정 할 수 있으며 빨간색과 녹색 볼 수에 대한 가장 좋은 추측을 계산합니다 (분명히 파란 볼 수를 알고 있음). 나는 그가 분명히 할 수 있다고 생각하지만, EM은 어떨까요? 무엇을 고려해야합니까?

Answer 1

EM 알고리즘의 일반적인 개요는 일부 매개 변수의 값을 알고 있으면 다른 매개 변수에 대한 MLE를 계산하는 것이 매우 간단하다는 것입니다. 일반적으로 제시되는 예는 혼합 밀도 추정입니다. 혼합 가중치를 알고 있다면 개별 밀도에 대한 매개 변수를 쉽게 예측할 수 있습니다 (M 단계). 그런 다음 단계로 돌아가십시오 : 개별 밀도를 알고 있다면 혼합 가중치를 추정 할 수 있습니다 (E 단계). 모든 문제에 대해 EM 알고리즘이 반드시 필요한 것은 아니며, 하나라도 존재한다고해도 반드시 가장 효율적인 알고리즘은 아닙니다. 그러나 일반적으로 더 간단하고 따라서 더 편리합니다.

귀하가 진술 한 문제에서 빨간색과 녹색 구의 수를 알고있는 것으로 가정하고 p (M 단계)에 대한 ML 추정을 수행 할 수 있습니다. 그런 다음 p 값으로 돌아가서 빨간색과 녹색 볼 수를 계산합니다 (E 단계). 너무 많이 생각하지 않고서도 매개 변수의 역할을 바꾸고 여전히 EM 알고리즘으로 작동시킬 수 있다고 생각합니다. p을 알고 척의 수에 ​​대한 ML 추정을 수행 한 다음 돌아가서 견적은 p입니다.

계속하시는 분은이 모든 것들에 대한 공식을 찾아보실 수 있습니다.

Answer 2

"p"를 모르는 경우 maximum likihood or MLE으로 갈 수 있습니다.

먼저 설명에서 "p"는 [-1, 2]에 있어야합니다. 그렇지 않으면 확률이 적합하지 않습니다. 이 일어날

확률이 N 인 (N는 + m2 M1 = m의 = 된 M1) m - NG + nR 개의 = m Nb를 = N :

두 특정 관측치!/(m! (N - m)!) (1-pb)^m (1 - pb)^(N - m) N의 정수가 m을 선택 무시하면, 우리는 두 번째 항 극대화 : P의 위에

P * = argmax (1 - PB)^m의 PB^(N - M)

쉬운 용액이다을 p *는 pb = (N - m)/N = 1 - m/N이되어야합니다. 그래서 0.5 - 0.25 p * = 1 = m/N ==> p * = max (-1, -2 + 4 * m/N)