- Теперь при создании или редактирования A/B теста мы всегда моделируем его жизненный цикл, в зависимости от выбранных вами параметров и исходных данных.
Вы только создаете A/B тест, но уже примерно понимаете сколько времени он займет. А если тест уже запущен, то будет показано на каком этапе жизненного цикла сейчас тест, сколько примерно ждать и чем вероятно кончится.
В статистике A/B теста появился саммари блок, который показывается до основных данных и сразу графически показывает и текущее положение теста в его жизненном цикле и наши оценки его развития.
В статистику A/B тестов добавили CUPED сглаживание - это метод, который использует данные о пользователях до начала эксперимента, чтобы убрать часть случайного шума из метрики. Благодаря этому дисперсия снижается, и A/B-тест либо обнаруживает эффект меньшего размера, либо достигает той же статистической мощности на меньшей выборке и за меньшее время.
Включение происходит в реальном времени (да!), графически будет сразу подсвечено что и где было сглажено.
В списке всех тестов сразу показываем основные цифры, чтобы вы понимали "что там по цифрам", не проваливаясь сразу в статистику.
Возможности нашего агента Kohai для генерации идей для A/B тестов, их анализу и созданию были значительно улучшены. Введена система черновиков (агент создает тест, вы проверяете и одобряете).
MCP для внешних агентов для этих целей - так же был улучшен
И много что поредизайнили, чтобы сделать удобнее и понятнее.
Оригинал статьи опубликован на t.me
