Telegram: @ninachely

Мотивация

Часто есть асимптотическая теория для оценок или доверительных интервалов (например, в случае метода максимального правдоподобия):

Если $[\dots]$, то при $n \to \infty$: $P(a \in [\hat{a}_L;\hat{a}_R]) \to 0.95$

Метод/тест ничего конкретного не говорит об этом $n$

Проблемы:

• требуется слишком большое (для практики) $n$

• нет теории или она вам неизвестна (готовые формул для доверительного интервала)

  ---

  Пример:

  $X_i \sim iid$ — непрерывное распределение

  $\mu = \mathbb{E}(X_1), \mu \in [\overline{X}-1.96\cdot se(\overline{X});\overline{X}+1.96\cdot se(\overline{X}]$

  Пусть мы хотим оценить медиану $\nu = \text{Med}(X_i)$

  $s.\text{Med}(X)$ — выборочная медиана (s stands for sample)

  $\nu \in [s.\text{Med}(X) \,-\, ?; s.\text{Med}(X)\,+\,?]$ — вопросик можно вывести только в частных случаях

Bootstrap

Бутстрэп — это семейство методов, основанных на оценке функции распределения интересующей нас статистики

Мы покроем наивный бутстрэп, бутстрэп t-статистики, бутстрэп в бутстрэпе, BCA-бутстрэп

Наивный бутстрэп (naive/percentile)

Задача:

$X_1,\dots,X_n \sim iid$ — непрерывное распределение

$\text{Med}(X_i) = m,\, P(X_i > m) = P(X_i < m) = \frac{1}{2}$

Точечная оценка: $\hat{m} = \text{выборочная медиана} = s.\text{Med}(X_1,\dots,X_n)$:

• упорядочиваем $X_i$:

  $X_{(1)} \leqslant \dots \leqslant X_{(n)}$

• берем тот $X_{(i)}$, что посередине