Telegram: @ninachely

Дифференциальная энтропия

$$ H(X) = -\int_{-\infty}^{\infty} f(x) \cdot \ln{f(x)}dx $$

$H(X)$ может быть отрицательной ⇒ интуиция ломается, это грустно

Дискретная кузина непрерывной функции плотности

Пусть $f(x)$ — непрерывная функция плотности

Как сделать ее “дискретную кузину”?

Разбиваем числовую прямую на интервальчики по $\Delta$

Рассмотрим участок функции плотности на отрезке $[k\Delta;(k+1)\Delta]$

По теореме о среднем $\exists \, x_k$ такое, что:

$$ ⁍ $$

В наших обозначениях $\xi \equiv x_k, [a;b] \equiv [k\Delta;(k+1)\Delta]$

$\exists X^{\Delta}$ — “дискретная кузина” случайной величины $X$

$$ P(X^{\Delta} = x_k) = f(x_k) \cdot \Delta $$

$X, Y$ — непрерывные случайные величины

$X^\Delta, Y^\Delta$ — “дискретные кузины” $X$ и $Y$

$$ CE(X^\Delta || X^\Delta) = H(X^\Delta) = -\sum\limits_{k} P(X^\Delta = x_k) \cdot \ln{P(X^\Delta=x_k)} = \\ = -\sum\limits_{k} f(x_k) \Delta \cdot (\ln{\Delta}+\ln{f(x_k)}) = \\ = \left\{\sum f(x_k) \cdot \Delta = \sum P(X^\Delta = x_k) = 1\right\} = \\ = \underbrace{-\ln{\Delta}}{\longrightarrow +\infty} - \underbrace{\sum\limits{k}f(x_k)\cdot \ln{f(x_k)} \cdot \Delta}{\longrightarrow \int{-\infty}^{+\infty} f(X) \cdot \ln{f(x)} dx} $$

$\Delta \approx 0$