Telegram: @ninachely

Понижение размерности

Предположим, что мы хотим решать задачу понижения размерности

Пусть $x \in \mathbb{R}^D$ (это может быть картинка). Хотим перевести $x$ в объект поменьше

$x \in \mathbb{R}^D \to z \in \mathbb{R}^d$

$z = f(x)$ — скрытое представление

$X \in \mathbb{R}^{N \times D}$ — матрица “объекты-признаки”

Линейный случай. PCA

Поначалу мы ограничимся тем, что будем рассматривать только линейные преобразования

$Z$ — матрица скрытых представлений

$Z = X \cdot \Theta, \, \Theta \in \mathbb{R}^{D \times d}$

$x \to z$

Можно придумывать разные способы, как обучать эту штуку — мы рассмотрим самый простой. Допустим, мы сжали $x$ и получили $z$. Давайте теперь его просто “разожмем”, умножив на матрицу $\Phi$ так, чтобы она нас вернула в исходное пространство

$x \to z \to \hat{x}$

$\hat{X} = Z \cdot \Phi = X \cdot \Theta \cdot \Phi$

$\Phi \in \mathbb{R}^{d \times D}$

Нам же надо это учить, поэтому давайте оптимизировать лосс — например, просто MSE:

$$ ⁍ $$