- Визуальный редактор гипотез стал заметно удобнее
Браузерный плагин для визуального редактирования гипотез выходит из закрытой альфы в публичную бету.
Мы доработали интерфейс, упростили работу с редактором и заодно сделали плагин автообновляемым — больше не придется каждый раз обновлять его вручную.
- В плагине появился свой Kohai (наш AI-агент)
Пока в альфа-версии, но уже можно редактировать гипотезы обычным текстом.
Например: «Придумай и добавь эстетичный блок про рассрочку под ценой».
Kohai сам предложит вариант и внесет изменения на страницу. Пока агент работает только внутри редактирования текущего варианта гипотезы.
- В A/B-тестах появился ML-режим исследования
Допустим, вы банк и обнаружили, что в среднем лучше всего на странице продукта работает картинка с гусем (это, кстати, не шутка). Обычный A/B-тест на этом заканчивается: гусь победил — ставим его всем.
ML-исследование может показать более интересную картину: например, в среднем гусь действительно лучший, но для мужчин 35–45 лет или пользователей, впервые пришедших с рекламы, лучше работает изображение с красивой бариста. Для каждого найденного ML-сегмента можно сразу создать отдельное действие по правилу.
То есть результаты A/B-теста теперь можно использовать как еще один способ находить идеи для персонализации сайта.
- Скрипт стал быстрее применять изменения и лучше бороться с мерцанием
Добавили несколько новых режимов.
Двухэтапная загрузка. Система сама определяет, какие гипотезы можно применить сразу, а каким нужно дождаться рендеринга страницы. Например, простую замену картинки на конкретной странице можно выполнить практически сразу, не ожидая полной загрузки сайта.
Синхронная задержка первого этапа. По умолчанию — 100 мс. Она позволяет дождаться ответа по простым гипотезам еще до первого отображения контента. В результате при нормальной скорости интернета пользователь сразу видит нужный вариант без мерцания, при этом влияние на SEO остается минимальным.
Скрытие изменяемого контента. Если заранее понятно, что какой-то блок, скорее всего, будет изменен на втором этапе, браузер может временно скрыть именно его.
Например, персонализация картинки зависит от бренда товара, а бренд становится известен только после рендеринга SPA. В таком случае мы можем ненадолго скрыть картинку, сохранив размеры блока и не сдвигая остальной контент. Если ответ успевает прийти вовремя, пользователь сразу увидит уже нужный вариант.
- Система статистических поправок стала значительно мощнее
Например, для A/B-тестов теперь доступны:
CUPED — снижает дисперсию за счет данных о поведении пользователей до эксперимента и помогает точнее оценивать эффект.
Равный трафик по дням — компенсирует ситуации, когда соотношение групп со временем менялось. Например, из-за многорукого бандита или динамического распределения пользователей между контрольной и персонализированной группами.
Учет задержки конверсий — использует подход Каплана–Мейера, чтобы учитывать конверсии, которые еще просто не успели произойти. Это особенно важно для длинных циклов сделки. Например, если от первого визита до покупки обычно проходит пять дней. При работе сразу с несколькими целями система может отдельно учитывать задержку каждой из них.
И самое крутое: все эти поправки можно сочетать между собой как угодно. Просто включаете и выключаете нужные опции — статистика пересчитывается в реальном времени, без повторной обработки данных на сервере.
- Обновили ML-движок персонализаций Это еще не все — впереди еще много важных релизов — но архитектурно мы уже сделали большой шаг.
Новый движок меньше склонен «застревать» на старом оптимуме и быстрее адаптируется к изменениям поведения пользователей, в том числе когда конверсий относительно немного.
- Запустили бесплатный калькулятор A/B-тестов
Опубликовали калькулятор для планирования и анализа A/B-тестов - наслаждайтесь.
Оригинал статьи опубликован на t.me
