Почему вам не стоит использовать байесовское A/B-тестирование

Наблюдается хайп, связанный с байесовскими A/B-тестами. Рассмотрим популярные мифы о байесовском A/B-тестировании.

Сравним подход с классическим. Подкреплю свои аргументы не словами, а реальными экспериментами. Рассмотрим все шаги A/B-тестирования, а именно: до начала A/B-теста, во время проведения и после его окончания.

Затрону такие темы, как расчет дизайна эксперимента, ранняя остановка, работа с метриками отношений и повышение чувствительности тестов. Приведу примеры, когда можно применить байесовское A/B-тестирование.