Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

3 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x, T Θ)dT max log p(x Θ) max Θ Θ p(x, T Θ) = p(t X,Θ)p(X Θ) log p(x, T Θ) = log p(t X,Θ)+log p(x Θ) q(t) произвольное распределение. log p(x Θ) = log p(x Θ)q(T)dT = [log p(x, T Θ) log p(t X,Θ)] q(t)dt = log p(x, T Θ)q(T)dT log p(t X, Θ)q(T)dT = p(x, T Θ) log q(t)dt log p(t X,Θ) q(t)dt q(t) q(t)

4 Нижняя оценка для логарифма p(x, T Θ) log p(x Θ) = log q(t)dt q(t) >