На главную

Продвинутое A/B‑тестирование

Многорукий бандит, четыре статистических метода остановки, сотни условий таргетинга, десятки типов изменений на сайте и оптимизация по моделируемой конверсии. Метрика, Директ, Calltouch, UIS, Smartis, VK Ads, Mindbox и Roistat — в одной системе.

Не просто A/B-тест — полноценный движок экспериментов

Многорукий бандит во время теста, четыре статистических метода остановки, четыре режима сравнения вариантов и полная прозрачность каждого решения. Всё то, что обычно делают вручную в Jupyter — встроено в продукт.

Многорукий бандит включён по умолчанию

Трафик автоматически перетекает в пользу более успешных вариантов прямо во время теста. Вы не теряете деньги на заведомо проигрышных гипотезах — эффект начинается уже в первые дни.

  • Минимизация потерь во время эксперимента
  • Можно отключить — равные доли по вариантам остаются доступны
  • Не ломает статистический анализ — корректировки заложены в движок

4 стратегии остановки

Ручная остановка, фиксированный размер выборки, последовательный метод O'Brien-Fleming и байесовская бета‑биномиальная модель. Каждая со своими параметрами и сферой применения.

4 режима сравнения вариантов

От классического «контроль против варианта» до «лидер против всех остальных». С корректировкой Бонферрони на многорукость.

Прозрачность и аудит

Каждая проверка остановки сохраняет полный снимок: какие руки сравнивались, какие пороги, какая статистика — реконструируется любое решение.

Уровень доверия на уровне теста

80%, 90%, 95% — для каждого теста отдельно, без изменения настроек проекта. Управляйте риском гранулярно.

Сложные условия срабатывания: тестируйте именно ту аудиторию, которая вам нужна

Не «запустили на 100% трафика и посмотрели». Тест может срабатывать только на мобильных из Москвы, пришедших по конкретному UTM, с корзиной дороже 5 000 ₽, кто уже посмотрел корзину, но ещё не дошёл до оплаты. Сотни полей, вложенные группы И/ИЛИ, отрицания — любые гипотезы выкатываются прицельно, без шума на остальной трафик.

Сессия и трафик

Откуда пришёл пользователь

Тип трафика, UTM-метки, реферер, рекламные кампании, прямой / органический заход.

Источник трафикаUTM SourceUTM CampaignUTM MediumUTM ContentРеферерДомен реферера
Устройство и гео

Кто и откуда

Браузер и его версия, ОС, тип устройства, страна / регион / город по GeoIP.

УстройствоБраузерВерсия браузераОСВерсия ОССтранаРегионГород
Страница и корзина

Контекст текущего визита

URL и заголовок страницы, произвольные параметры страницы, состояние корзины.

URL страницыЗаголовок страницыПараметры страницыСумма корзиныТоваров в корзине
История пользователя

Время и возвраты

Сколько уже на сайте, какой это визит, что делал в прошлый раз.

Время на сайтеНомер визитаИсточник прошлого визитаСвои параметры пользователяЦели, достигнутые ранее
Поведение

Цели и страницы — текущие и прошлые

Какие цели уже достигнуты в этой сессии или ранее, какие страницы пользователь уже посещал.

Цели текущей сессииЦели прошлых сессийСтраницы текущей сессииСтраницы прошлых сессий
Аудитории

Сегменты Я.Метрики как условие

Если в Метрике у вас настроены сегменты — используйте их прямо в условии запуска теста. Например, «вернувшиеся за 30 дней» или «брошенная корзина» — без выгрузок и ручного копирования.

Сегмент МетрикиПараметр посетителяUTM последнего касанияСписок ID клиентов
Операторы условий — на человеческом
равноне равносодержитне содержитначинается сзаканчивается насовпадает по шаблонубольшеменьшев диапазоневходит в списокне входит в списокзаполненопустода / нет
Пример: тестируем новую цену только на «горячих» мобильных пользователях
И Устройство равно «мобильное»
И Город входит в список «Москва», «СПб»
И Источник трафика входит в список «Яндекс», «VK»
И Сумма корзины больше 5 000 ₽
И Цели текущей сессии содержит «Просмотр корзины»
И НЕ Цели прошлых сессий содержит «Покупка»

Слоты трафика: тесты не воюют между собой — и не портят друг другу статистику

У вас одновременно идёт пять тестов? Десять? Sales Ninja сам разруливает, кто кому может пересекаться, а кто нет — через систему слотов. Вы просто говорите «эти два теста между собой никогда» — и статистика остаётся чистой.

5 слотов общего трафика
Тест: новая цена
Тест: онбординг
Тест: чекаут
Свободно
Свободно
20% трафика — только этот тест20% трафика — только этот тест20% трафика — только этот тест40% — контрольная группа

Часть трафика — одной кнопкой

Хотите выкатить рискованную гипотезу только на 20% посетителей? Даёте тесту 1 слот из 5. Остальные 80% идут мимо.

Тесты, которые не должны пересекаться

Два теста меняют одну и ту же кнопку? Кладёте их в разные слоты — и один посетитель никогда не увидит оба сразу.

Тесты, которые могут пересекаться

Тесты затрагивают разные части сайта и точно не конфликтуют? Кладёте их в один общий слот — получаете 100% трафика на каждый.

Чистая статистика — автоматически

Никаких ручных формул, никакой коррекции на пересечения. Сами слоты гарантируют, что каждый тест считается на незагрязнённой выборке.

Десятки типов изменений: тестируйте всё, не только текст кнопки

Каждый вариант A/B-теста — это упорядоченный список шагов-модификаций. Можно менять HTML, ставить редирект, выставлять куки, передавать события в чаты, CRM и аналитику.

Манипуляции с HTML/DOM

  • Заменить текст внутри элемента
  • Заменить элемент целиком
  • Вставить HTML до элемента
  • Вставить HTML после
  • Удалить элемент по селектору
  • Поменять элементы местами
  • Изменить любой атрибут
  • Удалить атрибут
  • Добавить CSS-класс
  • Убрать CSS-класс
  • Встроенные стили на элемент
  • Глобальный <style> в заголовке страницы

URL, куки и параметры

  • Редирект на другую страницу
  • Возврат на предыдущую
  • Добавить URL-параметр
  • Удалить URL-параметр
  • Установить куки
  • Удалить куки
  • Параметры страницы (добавить/убрать)
  • Параметры пользователя (добавить/убрать)

Чаты, чат-боты, виджеты

  • JivoSite — открыть чат
  • JivoSite — проактивное приглашение
  • JivoSite — инициировать звонок
  • JivoSite — пользовательские данные
  • CarrotQuest — открыть диалог
  • CarrotQuest — идентифицировать пользователя
  • CarrotQuest — отправить событие
  • MindBox — показать модалку
  • RoiStat — открыть чат
  • RoiStat — Lead Hunter форма

Аналитика и коллтрекинг

  • Я.Метрика — параметры пользователя
  • Я.Метрика — достижение цели
  • RoiStat — параметры визита
  • RoiStat — отправка события
  • RoiStat — обновление промокодов
  • RoiStat — вкл./откл. коллтрекинг
  • Calltouch — параметры визита
  • DataLayer push — произвольное событие
Не только контент — тестируйте бизнес-логику и интеграции любой сложности

Вариант — это последовательность шагов, и шаги могут быть любыми: подменить контент, поменять цену в карточке товара, инициировать звонок коллтрекинга, открыть модалку CRM, передать сегмент в почтовую платформу. На JS-подписке можно собрать сценарий «купи 1+1», запустить пилот нового алгоритма ML на 10% трафика, протестировать новый онбординг со звонком менеджера. Пример ниже — акция со звонком и передачей в CRM:

1
Изменение цены
Подменить цены в карточке товара — −15% для участников теста
2
HTML
Перед кнопкой «Купить» — баннер «−15% по промокоду»
3
Сегмент CRM
Передать в Mindbox профиль с тегом spring_promo_b для последующего почтового сценария
4
Звонок
Через 5 минут на карточке товара — проактивный звонок Jivo «Помочь с заказом?»
5
Аналитика
DataLayer push { event: 'spring_promo_assign' } + параметр в Метрику

Debug-режим: проверьте варианты ещё до того, как на них зайдёт реальный пользователь

Открываете ваш сайт прямо из интерфейса теста — и переключаетесь между вариантами в один клик. Видите ровно то, что увидит пользователь, проверяете пересечения с другими тестами, ловите сломанные селекторы и кривой layout — до запуска, не после.

Превью в живом DOM

Не скриншот, не песочница — ваш настоящий сайт с применённым вариантом. Видно всё, включая хитрые ховеры, мобильное меню, обработчики форм.

Переключение между вариантами

Один клик — и вы на варианте B, ещё один — и на контроле. Без перезагрузки страницы, без инкогнито, без чистки куки.

Все модификации — как на ладони

В инспекторе видно каждый шаг варианта: какой селектор сработал, какой элемент изменился, какие атрибуты подменились. Сломанный селектор найдёте за секунды.

Пересечения с другими тестами

Если на странице активно несколько тестов — проверите любую их комбинацию. Конфликты селекторов, перекрытые модификации — всё видно сразу.

Оптимизация по любым целям — из любых источников

Не только CR по стандартной цели. Подключайте цели из Я.Метрики, Google Analytics, DataLayer, Calltouch, UIS, Smartis или используйте автоматические цели Sales Ninja, которые мы создаём за вас. Оптимизируйте по конверсиям, выручке, прибыли или по ML-предсказанной выручке — той же модели, что стоит в Performance и Brand Performance.

Источники целей — подключаются галочкой
Я.МетрикаGoogle AnalyticsDataLayer / GTMCalltouchUIS / CoMagicSmartisRoistatJS-подпискаАвто-цели Sales Ninja

Авто-цели создаются движком автоматически: отправка любой формы, активность пользователя, скролл до конца страницы, добавление в корзину, клики по кнопкам обратной связи — без ручной разметки и без разработчика.

Моделируемая конверсия

Оптимизируйте по ML-предсказанию вероятности конверсии. Это даёт статистический сигнал в десятки раз быстрее, чем ожидание реальной покупки — особенно ценно при низком CR и длинном цикле сделки.

Реальные цели и авто-цели

Любая цель из Я.Метрики, GA, DataLayer, коллтрекинга или созданная внутри Sales Ninja. Плюс авто-цели: формы, активность, скроллы — синхронизируются и возвращаются в Я.Директ как виртуальные.

Составные цели: ANY и ALL

Составная цель из нескольких событий. Режим ANY — достаточно одной из дочерних. Режим ALL — нужна вся последовательность в одной сессии.

ALLОткрыл корзину+Перешёл к оплате+Купил
ANYРегистрация/Подписка/Заявка

Метрика оптимизации — любая

Тест может стремиться максимизировать любую из четырёх метрик. Выбираете то, что для бизнеса важнее всего именно сейчас.

  • Конверсии — классический CR по цели
  • Выручка — сумма заказов в рублях
  • Прибыль — выручка минус себестоимость; передаётся через API или считается как процент от выручки
  • Предиктивная выручка — ML-прогноз ценности сессии, сигнал в десятки раз быстрее
прибыль = выручка × (% маржи)  ·  или точно через API

Метрики, атрибуция и доверительные интервалы

Тестируйте не только CR, а ту метрику, которая реально влияет на бизнес: выручку или чистую прибыль. С любой моделью атрибуции и тремя уровнями доверительных интервалов.

Количество конверсий

Базовая метрика — максимизируем количество конверсий. Подходит для бесплатных регистраций, лидов и любых событий без денежного веса.

Выручка

Сумма выручки sum(revenue) на вариант. Учитывает разные средние чеки — важно когда вариант A даёт меньше конверсий, но дороже.

Чистая прибыль

Самая «честная» метрика — sum(profit) с учётом себестоимости. Защищает от ловушек, когда вариант наращивает выручку, но разоряет.

Типы атрибуции конверсии к показу варианта
Все конверсии
Первая на пользователя
Первая на сессию
Самая ценная на пользователя
Самая ценная на сессию

Доверительные интервалы 80 / 90 / 95%

Каждая метрика по каждому варианту считается одновременно на трёх уровнях. Если интервалы 95% не пересекаются — разница статистически значима.

−10%−5%0+5%+10%
CI 80%
CI 90%
CI 95%

4 стратегии остановки теста

Используйте ту математику, которая подходит вашей задаче: классический фиксированный объём выборки, последовательное тестирование с промежуточными проверками или байесовский анализ.

Ручная

Ручная остановка

Тест работает бессрочно, вы сами решаете, когда выбрать победителя. Подходит для экспериментов, где статистика — не единственный критерий.

Параметры—
Когда использоватьСвободные эксперименты
Частотная

Фиксированный размер выборки

Система рассчитывает требуемый объём выборки на каждую руку через z‑тест для двух долей (мощность = 80%) и останавливает тест при достижении.

MDE (ожидаемый эффект)обязательный
Минимум дней7 по умолчанию
Уровень доверия80% / 90% / 95%
n = ((z_α + z_β)² × (p₁(1-p₁) + p₂(1-p₂))) / (p₂ - p₁)²
Последовательная

Последовательный метод O'Brien-Fleming

Промежуточные проверки по расписанию с распределением альфа‑уровня: можно остановить тест досрочно при значимом результате — без инфляции ошибки I рода и эффекта «подглядывания».

Макс. длительность90 дней по умолчанию
Интервал проверок7 дней
Минимум для анализа50 сессий + 5 конверсий
Уровень доверия80% / 90% / 95%
Байесовская

Бета‑биномиальная модель

Апостериорное распределение Beta(1+conv, 1+visits-conv) с неинформативным априорным распределением. Вычисляем P(B > A) методом Монте‑Карло — 50 000 выборок из каждого распределения.

Порог вероятности95% по умолчанию
Макс. длительностьзадаётся параметром
Минимум для анализа100 сессий + 1 конверсия
P(B > A) = Σ MC[treat > ctrl] / 50 000 ≥ 0.95

4 режима сравнения вариантов

Гибкая формулировка гипотезы: сравнивайте контроль с объединённым лечением, лидера со вторым лучшим, лидера с контролем или лидера со всеми остальными вместе. Большинство платформ дают только первый режим.

Классический

Контроль против объединённой группы

Все тестовые варианты объединяются в одну группу и сравниваются с контролем. Это поведение по умолчанию в старом контракте.

Контроль
против
A + B + C
Множественность сравнений: 1 · Без Бонферрони
Многорукий

Лидер против второго лучшего

Сравнивает текущего лидера с ближайшим конкурентом среди активных тестовых вариантов. Честный выбор победителя при нескольких вариантах.

Лидер B
против
2-й лучший A
Множественность: C(k, 2) — k=3 → корректировка ÷3, k=4 → ÷6
Многорукий

Лидер против контроля

Отвечает на вопрос «лучший ли вариант значимо превосходит контроль». Удобно, когда интересен только победитель против базового варианта.

Лидер
против
Контроль
Множественность: k — по числу тестовых вариантов
По умолчанию

Лидер против всех остальных

Лидер сравнивается с объединённой группой из контроля + всех других тестовых вариантов. Даёт уверенный вывод «лидер реально лучший».

Лидер
против
Контроль + остальные
Множественность: k · По умолчанию для новых тестов
Коррекция Бонферрони в частотном многоруком режиме. При множественных сравнениях альфа автоматически делится на количество сравнений — α_corrected = α / MultipleComparisonCount. Большинство платформ либо не поддерживают честные многорукие частотные режимы, либо не применяют корректировку — и вы принимаете ложно-положительные результаты, не замечая того.

Многорукий бандит: эффект уже во время теста

Классический A/B-тест отдаёт каждому варианту одинаковую долю трафика — и все эти деньги, ушедшие в заведомо проигрышные гипотезы, теряются. Многорукий бандит Sales Ninja автоматически перераспределяет трафик в пользу лидеров, минимизируя regret и ускоряя получение выгоды.

Без бандита: равные доли

Все 4 варианта получают по 25%, даже если уже понятно, что вариант D провален. Половина бюджета теста — впустую.

Распределение трафика
Контроль
25%
Вариант A
25%
Вариант B
25%
Вариант C
25%
Жёсткое 25/25/25/2510-й день теста

С бандитом: трафик к лидеру

Вариант B показывает CR на 28% выше — система автоматически даёт ему больше показов. Эффект начинается уже сейчас, а не после остановки.

Распределение трафика
Контроль
18%
Вариант A
14%
Вариант B
58%
Вариант C
10%
Адаптивное распределение10-й день теста

Confidence Override: уровень доверия для каждого теста отдельно

Любой тест может иметь свой собственный уровень статистической значимости — отличный от настройки проекта. Без изменения общих параметров и без влияния на другие эксперименты.

80%
Агрессивный режим

Меньше требуемой выборки, быстрее остановка. Подходит для ранних гипотез и быстрых проверок, где цена ложного срабатывания невелика.

90%
Сбалансированный

Разумный компромисс между скоростью и надёжностью. Часто используется в продуктовых командах для большинства тестов.

95%
Консервативный

Максимальная надёжность, требуется больше данных. Для критичных тестов на воронке оплаты, цене или ключевых страницах.

Гранулярность управления риском. На других платформах (Google Optimize, VWO, Optimizely) confidence level — это глобальная настройка проекта. Меняя её, вы меняете поведение всех уже запущенных тестов одновременно. У нас каждый тест может работать на своём уровне доверия, выбранном осознанно под его цели и риски.

Мощная аналитика: разделяй данные как угодно — в реальном времени

Статистика теста строится на том же движке, что тянет десятки миллионов визитов в разделе Аналитики Sales Ninja. Вы можете дробить результаты по любому срезу, фильтровать ботов по ML-модели, видеть честные доверительные интервалы даже при разных весах вариантов.

Срезы и фильтры в реальном времени

Смотрите результаты теста только по мобильному трафику, только по Москве, только по аудитории «Горячий лид». Статистика пересчитывается на ClickHouse за секунды — даже на проектах с десятками миллионов визитов.

Быстрый путь по аудиторным сегментам

Тест может анализироваться по конкретному аудиторному сегменту — с оптимизированным быстрым путём, обходящим тяжёлые join-ы. Узнавайте, для кого именно вариант B работает лучше.

Учёт весов вариантов

Если варианты получают разный трафик (бандит или ручные веса) — статистический движок учитывает это в CI и тестах значимости. Никаких скрытых смещений.

ML‑фильтр ботного трафика

Из статистики автоматически вычитается ботный трафик — по поведенческим паттернам и по нашей ML-модели ботности. Тест не «побеждает» из-за того, что на вариант B случайно зашло больше скрейперов.

Переопределение профиля расчёта

На уровне теста можно переопределить профиль расчёта статистики — например, считать только сессии длиннее 30 секунд или только тех, кто долистал до корзины. Без влияния на общие отчёты.

Быстрый путь для типовых отчётов

Самые частые сценарии (общая статистика, по дням, по вариантам) — ходят оптимизированным путём, обходящим тяжёлые соединения таблиц и расчёты с весами. Отчёт за 3 месяца на крупном проекте строится за секунды.

Защита от мерцания и поддержка SPA из коробки

Никакого мерцания при переключении вариантов. Поддержка SPA-фреймворков с автоматическим перерисовыванием при смене роута. Предиктивное кеширование делает повторные открытия страницы мгновенными.

React, Vue, Angular — без дополнительной интеграции

SDK следит за DOM-изменениями через MutationObserver и за сменой URL в истории. Когда SPA перерисовывает контент или роутер меняет страницу — умные персонализации применяются заново автоматически.

ReactVueAngularNext.jsNuxtSvelteSSR без ошибок гидратации

Предиктивный кеш и защита от мерцания

На первом визите — встроенный CSS в заголовке страницы скрывает зону показа до применения варианта. На повторном — вариант уже закеширован в браузере, страница рисуется без единого мерцания.

0 мсDOMContentLoaded — CSS против мерцания уже в заголовке
~5 мсПопадание в кеш — достаём вариант из памяти или браузера
~15 мсПрименяем шаги, снимаем защиту — ноль мерцаний
Смена роутаMutationObserver видит изменение DOM и применяет варианты заново
3
режима кеша варианта: не кешировать / браузер / память
~15 мс
типичное время применения варианта на кеш-хите
0
мерцаний — встроенная защита и изменения без ошибок гидратации

Интеграции из коробки: вся экосистема российского маркетинга

Тесты не живут в вакууме — они связаны с вашей рекламой, коллтрекингом, чатами и CRM. Интеграции включаются галочкой и работают в обе стороны: цели и аудитории забираются, конверсии и события — отдаются.

YM
Яндекс.Метрика
Цели, аудитории, ecommerce, пользовательские параметры, отправка событий
YD
Яндекс.Директ
Виртуальные цели, кампании, мониторинг стратегий
VK
VK Ads
Подключение кабинетов, кампании, передача целей
CT
Calltouch
Звонки как цели, параметры визита
UIS
UIS / CoMagic
Data API 2.0, обращения, теги, кампании, сценарии
SM
Smartis
Метрики как цели, raw report data, scope-кеш
RS
Roistat
Lead Hunter, чат, промокоды, события, параметры
MB
Mindbox
Триггерные формы, передача профиля, события
JS
JivoSite
Открыть чат, проактивные приглашения, звонки
CQ
CarrotQuest
Identify, диалоги, события конверсии
TG
Telegram
Уведомления о старте/остановке тестов, алерты
GA
Google Analytics / GTM
DataLayer push — любые события и параметры
JS
JS-подписка
Своя логика на сайте по факту попадания в вариант или достижения цели
MCP
MCP
Интеграция Sales Ninja с LLM-агентами через MCP-протокол

JavaScript-подписка: интегрируйте тесты с любой логикой сайта

Прямо в браузере подписывайтесь на события Sales Ninja: попадание в вариант, достижение цели, изменение сегмента. Подписка вызывает ваш JS-обработчик — а дальше делайте всё, что умеет браузер: передавайте данные в CRM, инициируйте звонок коллтрекинга, показывайте свою форму, отправляйте событие в ваш аналитический контур.

// подписка на попадание в вариант теста
window.SalesNinja.on('ab.assign', (e) => {
// e.testId, e.variantId, e.userSegment
myCRM.tag(e.userId, `ab_${e.testId}_${e.variantId}`)
})
 
// подписка на достижение цели
window.SalesNinja.on('goal.reach', (e) => {
if (e.goalId === 'purchase') {
myCallTracking.trigger({
testId: e.testId,
variant: e.variantId,
revenue: e.revenue
})
}
})
 
// плюс: DataLayer push для GTM
// и прямые действия в интеграциях

JavaScript API: расширяйте тесты прямо на сайте

Браузерный API для разработчиков: управляйте параметрами пользователя, отправляйте события и подписывайтесь на то, что происходит в тесте — прямо из кода сайта. На этом можно собрать любой пользовательский сценарий внутри браузера.

window.SalesNinja

Управление из кода

Управляйте параметрами пользователя, отправляйте события и читайте применённые варианты — прямо из JS-кода вашего сайта.

// установить параметр пользователяwindow.SalesNinja.setParam( 'plan', 'pro' ) // отправить достижение целиwindow.SalesNinja.trackGoalReach('purchase') // узнать применённые вариантыconst applied = window.SalesNinja.getAppliedPersonalizations()
setParamtrackEventtrackGoalReachapplyManual
JS-подписка

Подписка на события

Подписывайтесь на ключевые события Sales Ninja прямо в браузере: попадание в вариант, достижение цели, изменение сегмента. В обработчике делаете всё, что умеет браузер.

// попадание в вариант тестаwindow.SalesNinja.on('ab.assign', (e) => {myCRM.tag(e.userId, `ab_${'$'}{e.testId}_${'$'}{e.variantId}`) } ) // достижение целиwindow.SalesNinja.on('goal.reach', (e) => {myCallTracking.trigger(e) } )
ab.assigngoal.reachsegment.change

Двухуровневая UI-помощь: всегда понятно, что произойдёт

Не надо быть статистиком

В каждом тесте под выбранной стратегией — живая подсказка с подставленными значениями ваших параметров. И развёрнутый список того, что именно произойдёт, если оставить эти настройки.

  • Краткая подсказка — одна-две строки, видимая всегда
  • Развёрнутый разбор — пошаговый список того, что система сделает
  • Динамические значения — все параметры подставлены из вашего теста
  • Предупреждения — если вариантов недостаточно для выбранного режима сравнения
  • Локализация — все тексты, числа и единицы — в кириллице, без англоязычных artefact'ов
РучнаяФикс. выборкаПоследоват.Байес
Последовательный метод O'Brien-Fleming. Тест будет работать до 90 дней, проверки каждые 7 дней — до 13 промежуточных анализов. Уровень доверия 95% (переопределяется на уровне теста).
Что произойдёт с этими настройками
1Тест работает минимум 7 дней — защита от эффекта дня недели.
2Каждые 7 дней — промежуточная проверка с границей O'Brien-Fleming.
3Сравниваются Лидер vs все остальные. Multiple comparisons: 3, скорректированная α = 0.0167.
4Минимум для анализа: 50 сессий и 5 конверсий в каждой руке.
5Ранняя остановка возможна при |Z| ≥ critical boundary на любом анализе.
Telegram канал

Продуктовые заметки без рекламного шума

Пишем о моделях, экспериментах, интеграциях и практике оптимизации так, чтобы это было полезно специалистам, а не только маркетологам.

@sales_ninja_me

Давайте поговорим

Подойдёт Telegram-ник или номер телефона.

Нажимая кнопку, вы соглашаетесь с обработкой персональных данных .

Идёт в подарок

Берёте A/B-тесты — остальной сайтовый стек получаете бесплатно

Это одна лицензия, а не набор отдельных продуктов. Без доплат, без кросс‑сейла — всё ниже сразу включено и работает в связке.

С кем мы работаем

  • otp-bank
  • divan-ru
  • video-shoper
  • xcom-shop
  • just-food
  • valta
  • alter
  • coddy
  • ros-inst
  • trivio
  • nadpo
  • zovrus
  • altegrosky
  • sikora
  • tumodo
  • stomatorg
  • ozinkovka
  • detensor
  • mnogomeb
  • svoya-zemlya
  • > 60 млрдAPI вызовов в месяц
  • 300+Проектов
  • 7Стран присутствия
  • 4Банка
  • 48E-com проектов
  • 14EdTech проектов
Работаем с крупным, средним и даже малым бизнесом Подходим для проектов с рекламным бюджетом от 600 000 ₽ в месяц

Сотрудничаем с ведущими агентствами

Ответы на часто задаваемые вопросы

Чем A/B-тесты Sales Ninja отличаются от Google Optimize, VWO или Optimizely?

В продукт встроены четыре статистических метода и автоматическая поправка на множественные сравнения. Многорукий бандит включён по умолчанию и учитывается в статистике, а тестировать можно не только текст и кнопки, но и сложные сценарии с интеграциями. Плюс прямые интеграции с Метрикой, Директом, Calltouch, UIS, Smartis, VK Ads, Mindbox, Roistat, JivoSite, CarrotQuest. Всё в одном продукте — с антиботом, аналитикой и моделируемой конверсией.

Можно ли A/B-тестом проверять не только текст и кнопки, но и сложные сценарии?

Да. Каждый вариант — это последовательность шагов: можно поменять HTML, поставить редирект, выставить куки, передать сегмент в CRM, инициировать звонок коллтрекинга, открыть всплывающую форму. В одном тесте можно собрать сценарий из 5–10 действий: подменить цены в карточке товара, показать баннер, поставить промо-куки, отправить событие в Метрику, открыть модалку Mindbox.

Поддерживаются ли SPA-фреймворки?

Да, прямо из коробки — React, Vue, Angular, Next.js, Nuxt, Svelte. Скрипт сам отслеживает изменения DOM и смену URL: при перерисовке контента или переходе на новую страницу варианты применяются заново автоматически. Корректно работает и с серверным рендерингом — без двойной разметки и без мерцаний.

Нужен ли разработчик для запуска тестов?

Нет. После установки одного скрипта на сайт варианты собираются в визуальном редакторе — селекторы генерируются автоматически, а предварительный просмотр доступен в режиме отладки. Передача выручки и стоимости товаров — через DataLayer или интеграцию с Метрикой. Для сложных сценариев есть JavaScript-подписка на событие попадания в вариант — это уже задача для разработчика, но и без неё закрывается большинство случаев.

Можно ли посмотреть, как будет выглядеть вариант, до запуска теста?

Да. В режиме отладки вы открываете свой сайт прямо из интерфейса теста и переключаетесь между вариантами в один клик. Видно, как именно вариант меняет страницу, можно проверить пересечения с другими активными тестами, поправить шаги и убедиться, что ничего не ломается — ещё до того, как на сайт пришёл первый реальный пользователь.