Telegram: @ninachely

Множественное тестирование (сравнение)

Вступление

Стало много данных $\Rightarrow$ стало легко очень много автоматически тестировать гипотезы (например, с помощью MLE)

Если у нас одна гипотеза $H_0$ ($H_1$ альтернативная), то $\alpha$ — вполне разумный показатель, который надо контролировать (например, целевое значение $\alpha=0.01$)

$$ \alpha = P(\text{отвергнуть } H_0 \, | \, H_0 \text{ верна}) = P(\text{ошибки I-го рода}) $$

p-value hacking

Упражнение

$1000$ независимых наборов данных

Проверяем тысячу нулевых гипотез: $H_0^{1}, \dots, H_0^{1000}$

$\alpha = 0.01$ — исследователь задает до начала исследования

Хотим опубликовать статью с каким-то результатом

Пусть $H_0^{i}(\text{об отсутствии эффекта})$ все верны

1. $P(\text{хотя б одна } H_0^{i} \text{ будет отвергнута})$ - ?
2. $\mathbb{E}(\text{количество отвергнутых гипотез } H_0^{i})$ - ?

Ответ

<aside> 💡 Очень много научных работ не воспроизводятся из-за использования такой практики

</aside>

Альтернативные подходы