Продвинутое A/B‑тестирование
Многорукий бандит, четыре статистических метода остановки, сотни условий таргетинга, десятки типов изменений на сайте и оптимизация по моделируемой конверсии. Метрика, Директ, Calltouch, UIS, Smartis, Rick.ai, VK Ads, Mindbox и Roistat собраны в одной системе.
Нам доверяют
Сложные условия срабатывания: именно та аудитория, которая нужна
Не «запустили на 100% трафика и посмотрели». Тест может срабатывать только на мобильных из Москвы, пришедших по конкретному UTM, с корзиной дороже 5 000 ₽, кто уже посмотрел корзину, но ещё не дошёл до оплаты. Сотни полей, вложенные группы И/ИЛИ, отрицания: любые гипотезы выкатываются прицельно, без шума на остальной трафик.
Слоты трафика: тесты не воюют между собой
Одновременно идёт пять тестов? Десять? Sales Ninja разруливает пересечения через систему слотов: вы просто говорите «эти два теста между собой никогда», и статистика остаётся чистой.
Три теста в разных слотах: каждый получает свои 20% трафика, и один посетитель никогда не увидит два теста сразу. Даже если оба меняют одну и ту же кнопку, выборки не пересекаются.
Смелая гипотеза выкатывается одной кнопкой на 1 слот из 5: её видят только 20% посетителей, остальные 80% идут мимо. Никаких ручных процентов и формул.
Тесты затрагивают разные части сайта и точно не конфликтуют? Кладёте их в один общий слот, и каждый получает все 100% трафика. Чистоту статистики слоты гарантируют сами.
Десятки типов изменений: тестируйте всё, не только текст кнопки
Каждый вариант A/B-теста состоит из упорядоченного списка шагов-модификаций. Можно менять HTML, ставить редирект, выставлять куки, передавать события в чаты, CRM и аналитику.
Манипуляции с HTML/DOM
URL, куки и параметры
Чаты, чат-боты, виджеты
Аналитика и коллтрекингВариант состоит из последовательности шагов, и шаги могут быть любыми: подменить контент, поменять цену в карточке товара, инициировать звонок коллтрекинга, открыть модалку CRM, передать сегмент в почтовую платформу. На JS-подписке можно собрать сценарий «купи 1+1», запустить пилот нового алгоритма ML на 10% трафика, протестировать новый онбординг со звонком менеджера. Пример ниже: акция со звонком и передачей в CRM.
−15% для участников тестаspring_promo_b для последующего почтового сценария{ event: 'spring_promo_assign' } + параметр в МетрикуDebug-режим: проверьте варианты до реальных пользователей
Открываете ваш сайт прямо из интерфейса теста и переключаетесь между вариантами в один клик. Видите ровно то, что увидит пользователь, ловите сломанные селекторы и кривой layout ещё до запуска.
Оптимизация по любым целям из любых источников
Не только CR по стандартной цели. Подключайте цели из Я.Метрики, Google Analytics, DataLayer, коллтрекинга или используйте автоматические цели Sales Ninja. Оптимизируйте по конверсиям, выручке, прибыли или ML-предсказанной выручке: той же модели, что стоит в Performance и Brand Performance.
4 стратегии остановки теста
Используйте ту математику, которая подходит задаче: классический фиксированный объём выборки, последовательное тестирование с промежуточными проверками или байесовский анализ.
Тест работает бессрочно, победителя выбираете вы. Для экспериментов, где статистика не единственный критерий.
Система считает требуемый объём выборки на каждую руку через z‑тест для двух долей (мощность 80%) и останавливает тест при достижении.
n = ((z_α + z_β)² × (p₁(1-p₁) + p₂(1-p₂))) / (p₂ - p₁)²Промежуточные проверки по расписанию с распределением альфа-уровня: досрочная остановка при значимом результате, без инфляции ошибки I рода и эффекта «подглядывания».
Апостериорное распределение Beta(1+conv, 1+visits-conv) с неинформативным априорным. P(B > A) считается методом Монте‑Карло: 50 000 выборок из каждого распределения.
P(B > A) = Σ MC[treat > ctrl] / 50 000 ≥ 0.954 режима сравнения вариантов
Гибкая формулировка гипотезы: контроль против объединённого лечения, лидер против второго лучшего, лидер против контроля или лидер против всех. Большинство платформ дают только первый режим.
Коррекция Бонферрони в частотном многоруком режиме. При множественных сравнениях альфа автоматически делится на их количество: α_corrected = α / MultipleComparisonCount. Платформы без честных многоруких режимов принимают ложно-положительные результаты, не замечая этого.
Многорукий бандит: эффект уже во время теста
Классический A/B-тест отдаёт каждому варианту одинаковую долю трафика. Деньги, ушедшие в заведомо проигрышные гипотезы, при этом теряются. Бандит Sales Ninja перераспределяет трафик в пользу лидеров, минимизируя regret.
Оба снимка: 10-й день одного и того же теста. Эффект начинается сейчас, а не после остановки.
Мощная аналитика: дробите данные как угодно
Статистика теста строится на том же движке, что тянет десятки миллионов визитов в Аналитике Sales Ninja. Любые срезы в реальном времени, пересчёт на ClickHouse за секунды.
Ноль мерцаний и поддержка SPA из коробки
Никакого мерцания при переключении вариантов. SPA-фреймворки поддерживаются с автоматическим перерисовыванием при смене роута, а предиктивное кеширование делает повторные открытия мгновенными.
Интеграции из коробки: вся экосистема российского маркетинга
Тесты не живут в вакууме: они связаны с рекламой, коллтрекингом, чатами и CRM. Интеграции включаются галочкой и работают в обе стороны: цели и аудитории забираются, конверсии и события отдаются.
Яндекс.Директвиртуальные цели, кампании, мониторинг стратегий
VK Adsкабинеты, кампании, передача целей
Яндекс.Метрикацели, аудитории, ecommerce, параметры, событияGoogle Analytics / GTMDataLayer push: любые события и параметрыRick.aiсквозная аналитика, атрибуция, лиды, сделки, выручкаSmartisметрики как цели, raw report dataJavaScript-подписка: интегрируйте тесты с любой логикой сайта
Прямо в браузере подписывайтесь на события Sales Ninja: попадание в вариант теста и достижение цели. Подписка вызывает ваш JS-обработчик, а дальше делайте всё, что умеет браузер: передавайте данные в CRM, инициируйте звонок коллтрекинга, показывайте свою форму.
Калькулятор A/B‑теста
Та же математика, что внутри платформы, только считает в браузере и доступна всем: значимость, доверительные интервалы, поправка на множественные сравнения, цена ошибки и честный ответ, есть ли смысл тянуть тест дальше.
- Ничего не устанавливать
- Данные не уходят на сервер
- Ссылкой можно поделиться с командой
Глубина данных / Sales Ninja
За каждым визитом —
больше, чем видит отчёт.
Аналитика показывает, что произошло. Мы добавляем подробное поведение, модельные оценки и данные ваших систем — чтобы понять, что может произойти дальше.
Пиксель Sales Ninja
Не только «был на странице». Как именно он выбирал.
Подробный слепок сессии помогает различать случайный просмотр и осмысленный интерес — даже когда покупка ещё не произошла.
- Активность вкладки
- Просмотры товаров
- Корзина
- Движения курсора
Оценивать намерение по совокупности действий, а не по одному клику или времени на сайте.
Какие данные и системы можно подключить
События и контекст
Клики, скроллы, движения мыши, активность вкладок, корзина, просмотренные товары и цели прошлых сессий. UTM, устройство, город, погода и ваши собственные параметры.
Модельные признаки
Интересы, возрастная группа, платёжеспособность — с оценкой уверенности. Вероятность конверсии, ожидаемая выручка, цена клика и оценка ботности по поведению.
Ваши системы
amoCRM, Битрикс24, RetailCRM; Calltouch, UIS / CoMagic, Phonix; Rick.ai, Smartis, Roistat; Яндекс Метрика, AppMetrica. Если готовой интеграции нет — своя выгрузка конверсий.
Нам доверяют ведущие агентства
