Telegram: @ninachely

Функция правдоподобия $\ell(y \, |, \theta)$ иногда трудно максимизируется (например, если есть скрытые кластеры)

Модельная ситуация

Винни Пух очень любит мёд. Он каждый день залезает на дерево и забирает у пчел сколько-то мёда

Пусть есть два кластера пчёл: хорошие и плохие

$\text{Число свободных параметров} = \text{Число кластеров} - 1$

$\pi_g + \pi_b = 1$

$z_i$ — тип пчёл

$y_i$ — количество мёда, которое можно собрать за $i$-й подъем на дерево

Пусть $y_i$ имеют такие распределения (дисперсия может быть другой, это всего лишь пример):

$(y_i \, | z_i = g) \sim \mathcal{N}(\mu_g;1)$

$(y_i \, | z_i = b) \sim \mathcal{N}(\mu_b;1)$

$\Rightarrow f(y_i \, | \, z_i = g, \theta) = \frac{1}{\sqrt{2\pi}} \cdot \exp{\left(-\frac{(y_i-\mu_g)^2}{2}\right)}$

$\theta = (\mu_g, \mu_b, \pi_g), \text{ где } \mu_g, \,\mu_b \text{ -- параметры кластеров}, \pi_g \text{ -- вероятности каждого кластера (кроме одного)}$

Ситуация 1

Винни Пух умеет различать $z_i$

Наблюдения за разные дни независимы