Конверсия выросла. Почему бизнес мог ничего не выиграть?

У нового варианта сайта конверсия выше на 20%. Покупок стало больше, стоимость заказа из рекламы снизилась. Для отчёта — отличный результат.

Но через месяц финансовый директор видит другую картину: денег осталось меньше. Покупатели выбирали более дешёвые товары, чаще пользовались скидкой и чаще возвращали заказы. Каждый отдельный отчёт мог быть верным. Ошибкой было решение, что рост числа покупок сам по себе означает рост бизнеса.

Конверсия отвечает на узкий вопрос: какая доля посетителей совершила выбранное действие. Чтобы оценить пользу изменения, нужно знать ещё и цену этого действия для компании. Особенно когда тест меняет не цвет кнопки, а предложение: ассортимент, рекомендации, скидку, условия доставки или способ оплаты.

#Больше заказов, меньше выручки

Начнём с условного расчёта. Числа в примерах ниже иллюстрируют механизм; это не результаты клиентов.

В каждой группе — по 10 000 посетителей. Для простоты один покупатель оформляет один заказ.

При одинаковом рекламном расходе стоимость оформленного заказа действительно снизится: тот же бюджет теперь делится на 240 заказов вместо 200. А ДРР, рассчитанный по сумме заказов, вырастет: выручки на этот бюджет стало меньше.

Причина видна в простом равенстве:

Сумма заказов на посетителя = конверсия в заказ × средний чек.

Оно работает при определении конверсии как числа заказов, делённого на число посетителей. Если считать долю покупателей, нужно добавить ещё один множитель — среднее число заказов на покупателя.

В нашем примере изменение результата равно 1,20 × 0,75 = 0,90. Двадцать процентов дополнительных заказов не компенсировали потерю четверти чека.

Есть и полезная граница. При росте конверсии на 20% средний чек может снизиться примерно на 16,7%, чтобы сумма заказов на посетителя осталась прежней: 1 / 1,20 ≈ 0,833. Всё, что ниже этой границы, уже уменьшает результат по выручке.

Так можно объяснить падение выручки. Но иногда она тоже растёт — и всё равно не приносит компании выигрыша.

#Скидка уменьшает заработок быстрее, чем цену

Товар продаётся за 1 000 рублей, закупочная стоимость — 700. До остальных расходов у магазина остаётся 300 рублей.

Скидка 10% выглядит умеренной. Покупатель заплатит 900 рублей, но закупочная стоимость останется прежней. На покрытие доставки, эквайринга, работы склада и прибыли теперь остаётся 200 рублей. Цена снизилась на десятую часть, а разница между ценой и закупкой — на треть.

Если благодаря скидке число продаж вырастет на 20%, этот результат составит 1,20 × 200 / 300 = 0,80 от прежнего. Выручка при этом увеличится на 8%: 1,20 × 900 / 1 000 = 1,08.

Получается особенно неприятная комбинация: конверсия выросла, выручка выросла, валовая прибыль снизилась на 20%. До дополнительных расходов на обработку возросшего числа заказов.

Чтобы только восстановить прежнюю валовую прибыль, нужно продать на 50% больше: 300 / 200 = 1,5. И это ещё не точка безубыточности всей акции: дополнительные заказы тоже нужно собрать, доставить и обслужить.

Здесь мало добавить средний чек в отчёт. Денежный показатель должен учитывать, сколько компания оставляет себе с продажи.

#Ассортимент может поменять экономику без всяких скидок

Похожий эффект возникает, когда новая выдача или блок рекомендаций смещает спрос в пользу товаров, которые проще купить.

У двух категорий может быть одинаковая цена — 5 000 рублей. Но с одного заказа первой категории после закупки и переменных расходов остаётся 1 500 рублей, со второй — 300.

Посетителей в группах одинаковое количество. Конверсия выросла на 20%, средний чек сохранился, выручка прибавила 20%. А заработок на покрытие постоянных расходов и прибыль сократился на 20%.

Это важный риск для рекомендаций, поиска и рекламных фидов. Если оценивать их только по числу покупок, то товар с высокой вероятностью заказа будет выглядеть привлекательным даже при слабой экономике. Если оценивать по выручке, дорогая продажа с почти нулевой маржой может получить слишком большой вес.

При этом простое продвижение самых маржинальных товаров тоже не гарантирует результата. Покупатель может их не захотеть. Нужно сопоставлять вероятность покупки и ожидаемый заработок, а результат проверять по всем покупкам участников теста. Часть заказов из нового блока могла просто переместиться туда из каталога.

#Возвраты приходят после красивого отчёта

У оформленного заказа ещё нет окончательной экономики. Его могут отменить, не выкупить или вернуть после получения. Компания уже могла потратить деньги на сборку, доставку и обслуживание.

Допустим, на одинаковом трафике старая версия принесла 100 заказов, из которых 10 были полностью отменены или возвращены. У компании осталось 90 покупок.

Новая версия принесла 120 заказов. Но 36 из них отменили или вернули. Осталось 84 покупки: на 6,7% меньше, хотя исходных заказов стало на 20% больше. При одинаковом чеке снизится и выручка после возвратов, а затраты на обработку могут вырасти.

Такая ситуация возможна, например, когда предложение подталкивает заказать несколько размеров на выбор или обещание на странице вызывает ожидания, которым товар не соответствует. Конкретную причину нужно искать в данных и обращениях покупателей. Сам рост возвратов ещё не объясняет, почему люди стали возвращать.

Трудность в том, что эта часть результата появляется с задержкой. В день заказа новая версия выглядит убедительно. Через две недели картина меняется.

Поэтому у теста есть два срока: период набора участников и период наблюдения за их результатом. Если людей включали в эксперимент две недели, а экономику оценивают за 30 дней после первого попадания в вариант, у последних участников полное окно закончится лишь через 30 дней после завершения набора.

Тридцать дней — пример, а не универсальное правило. Окно выбирают по реальным задержкам покупки, доставки, возврата и повторного заказа. Важна одинаковая возможность увидеть результат в обеих группах.

Если в показатель входят покупки за первые 30 дней, возврат по заказу на 29-й день может прийти уже за пределами этого окна. Для таких заказов отдельно задают срок дозревания и дату окончательной сверки. Равные окна наблюдения сами по себе не превращают незавершённые заказы в окончательный доход.

Полезно отдельно показывать предварительные и созревшие данные. А сравнение «все продажи этой недели минус все возвраты этой недели» легко смешает разные поколения заказов: сегодняшние возвраты могут относиться к покупкам до эксперимента.

#Какой показатель поставить главным

После таких примеров хочется назначить главным показателем прибыль. Направление разумное, но одного слова мало. Нужно договориться, что именно считается прибылью, на кого она делится и за какой срок наблюдается.

Для многих тестов в электронной торговле подходит вклад в покрытие постоянных расходов и прибыль на участника эксперимента за фиксированное окно. Дальше будем называть его коротко: вклад на участника.

В числителе — выручка после скидок, отмен и возвратов, из которой вычли себестоимость проданных товаров и согласованный набор переменных расходов. Например, эквайринг, субсидию на доставку, сборку, обработку возвратов и комиссии. Если изменение требует дополнительных расходов на сервис или обслуживание, их тоже учитывают.

Состав считают последовательно: скидку, уже вошедшую в цену продажи, повторно не вычитают; полностью возвращённый товар, который снова лежит на складе, не оставляют в себестоимости реализованных товаров. При этом расходы на его доставку и обработку никуда не исчезают.

В знаменателе — все участники соответствующей группы, включая тех, кто ничего не купил. Иначе можно поднять средний заработок на покупателя, потеряв столько покупателей, что общий результат ухудшится.

Это управленческий показатель, а не чистая прибыль компании по бухгалтерской отчётности. Его задача — показать, даёт ли изменение больше денег для покрытия постоянных расходов и формирования прибыли при сопоставимом трафике.

Если тестируется сайт на случайно разделённом входящем трафике, общая для вариантов стоимость привлечения сама по себе не объясняет разницу. Если эксперимент меняет закупку трафика, нужно включить и различие в рекламных расходах. Положительный тест сайта на текущей аудитории ещё не обещает такую же экономику при удвоении рекламного бюджета.

Для лидогенерации логика та же. После упрощения формы заявок может стать больше, а квалифицированных обращений и оплат — меньше. Тогда главным показателем может быть число квалифицированных лидов или заработок на привлечённого посетителя. Отправка формы помогает объяснить движение воронки, но её рост не закрывает вопрос о продажах.

#Если экономика пока измеряется плохо

Точную прибыль на заказ знают далеко не все. Иногда себестоимость обновляется нерегулярно, часть возвратов приходит из другой системы, а расходы на обслуживание вообще не привязаны к клиенту.

В такой ситуации выбирают ближайший надёжный результат: выручку после возвратов на участника, валовую прибыль на участника или квалифицированные лиды. Недостающую часть экономики проверяют отдельно и ограничивают риск.

Например, для теста оформления заказа можно использовать выручку после возвратов, если он почти не меняет товарный состав. Для теста ранжирования, который активно перераспределяет спрос между категориями с разной маржой, этого уже может быть недостаточно.

Замена прибыли постоянным процентом от выручки не решит последнюю проблему: она по определению предполагает, что маржинальность не изменилась. Именно это предположение и нужно проверить.

#Главная метрика, ограничения и объяснения — разные вещи

Одного денежного показателя тоже недостаточно. Он может вырасти ценой перегрузки поддержки, ошибок оплаты или ухудшения опыта, последствия которого проявятся позже выбранного окна.

Здесь помогают метрики-ограничения, или guardrails: условия, которые должны выполняться вместе с улучшением главного результата. Такой подход описывает, в частности, команда экспериментов Microsoft: она отделяет критерий успеха, защитные метрики, диагностику и качество данных. Источник: Microsoft ExP.

Эти роли важно не смешивать. Если итоговый вклад растёт, снижение среднего чека может быть приемлемой частью улучшения. Запрет «чек никогда не должен падать» способен заблокировать выгодное изменение.

Обратная сторона: рост главной метрики не отменяет заранее установленного ограничения. Допустим, компания решила не допускать роста возвратов больше чем на один процентный пункт, потому что склад уже близок к пределу обработки. Если тест нарушает этот предел, дополнительные продажи не снимают операционную проблему.

Предел выбирают по цене последствий: доступной мощности, денежному риску, качеству обслуживания. Ни один универсальный процент не сделает такую границу разумной для всех компаний.

#«Вреда не обнаружили» ещё не означает «всё безопасно»

Допустим, допустимый рост возвратов — не больше одного процентного пункта. Тест показывает прибавку 0,4 п. п., а доверительный интервал для изменения — от −0,3 до +1,5 п. п.

В интервал попал ноль. Статистически убедительного роста возвратов может не быть. Но туда же попало ухудшение на 1,5 п. п. — больше допустимого. Данных пока недостаточно, чтобы подтвердить соблюдение ограничения.

Для защитной метрики вопрос звучит точнее: позволяют ли данные исключить неприемлемый вред на заранее выбранном уровне уверенности? Для возвратов смотрят на верхнюю границу возможного ухудшения; для показателя, который нельзя сильно снижать, — на нижнюю.

Это логика проверки non-inferiority: новая версия не хуже старой больше чем на заранее оговорённую величину. Её применение в продуктовых экспериментах объясняет Statsig.

Такая проверка требует планирования выборки и подходящего статистического метода. Если возвраты редки, «серый» показатель на панели может означать всего лишь недостаток наблюдений.

Возможны три разных решения: ограничение соблюдено, ограничение нарушено, данных недостаточно. Третье нельзя автоматически приравнивать к первому.

Та же аккуратность нужна главному показателю. Прибавка 3% с интервалом от −8% до +14% пока совместима и с заметным убытком. А очень маленький, но убедительно измеренный прирост может не окупить внедрение. Нужно учитывать и неопределённость, и денежную цену изменения.

Для денежных метрик статистику следует строить с учётом единицы случайного распределения. Если по вариантам разделяли пользователей, повторные заказы одного человека связаны между собой. Считать их независимыми наблюдениями — значит рисковать чрезмерной уверенностью. Эту проблему для торговых метрик разбирают Bryan Liu и Emma McCoy в работе Measuring e-Commerce Metric Changes in Online Experiments.

#Почему прогноз LTV не должен спасать любой проигравший тест

Есть сильное возражение: компания может осознанно меньше заработать на первой покупке ради новой клиентской базы. Более низкий чек или небольшая потеря начальной маржи действительно способны оказаться разумной ценой привлечения.

Но это отдельная гипотеза. До запуска нужно зафиксировать, сколько компания готова потратить на нового покупателя, за какой срок ожидает возврат вложений и какой денежный риск может выдержать.

Затем сравнивают фактические повторные покупки и накопленный вклад за одинаковые окна. Часть контрольной группы можно сохранять дольше основного теста, чтобы увидеть отложенные последствия.

Если после неудачного результата просто добавить прогноз «эти клиенты потом окупятся», критерий победы становится подвижным. Особенно когда модель LTV обучалась на покупателях с другой скидкой, другим ассортиментом и другим поведением.

Прогноз полезен для ранней оценки, пока фактический результат ещё не созрел. Его проверяют на новых когортах и показывают отдельно от уже заработанных денег. Иначе модель лишь перенесёт уверенность в будущее, которое пока никто не измерил.

#Что зафиксировать до запуска теста

Хороший план эксперимента помещается в короткую карточку. В ней должны быть ответы на несколько конкретных вопросов:

1. Что должно улучшиться для бизнеса? Например, вклад на участника за 30 дней с заранее описанным составом расходов.
2. Кто участвует и как закрепляется вариант? Пользователь, аккаунт или другая подходящая единица; условия участия определяются до воздействия изменения.
3. Какой эффект имеет смысл ловить? Минимальная полезная прибавка и допустимый ущерб по ограничениям. От них зависит нужная выборка.
4. Как долго набирают людей и наблюдают результат? Включая задержку возвратов и повторных покупок.
5. Какие ограничения обязательны? Несколько существенных рисков с числовыми границами, единицами измерения и правилами проверки.
6. Когда принимается решение? По фиксированной выборке или корректному последовательному методу, с учётом нескольких вариантов и запланированных проверок.

После запуска сначала проверяют данные. Не потерялось ли событие покупки в одной версии? Нет ли задвоений? Соответствует ли распределение участников заданным долям? Продажи из CRM одинаково связываются с обеими группами? В Microsoft такие проверки рассматривают как необходимую часть доверия к эксперименту, наряду с выбором метрик и единицы рандомизации. Подробнее о подготовке эксперимента.

Для проверки результата заранее полезно выделить несколько важных сегментов: например, новых и прежних клиентов или мобильный и настольный трафик. Принадлежность к таким сегментам должна определяться независимо от эффекта теста. «Покупатели дешёвых товаров» уже после изменения выдачи — другой состав людей, который сама выдача могла создать.

Наблюдать за авариями и явным ущербом нужно с начала теста. А объявлять победу в первый день, когда появилась подходящая значимость, — только если выбранный метод действительно допускает такую остановку. Microsoft отдельно разбирает промежуточные проверки и стабильные сегменты.

В конечном отчёте лучше написать: «Вклад на участника вырос на столько-то, существенный вред по ограничениям исключён в выбранных пределах, результат созрел за оговорённое окно». Для такого вывода нужны данные по каждому условию.

#Иногда плохая на вид метрика сопровождает полезное изменение

В одном из экспериментов Microsoft блок на главной странице MSN переместили выше. Его CTR снизился на 40%. При разборе выяснилось, что показы выросли быстрее кликов, а трафик перераспределился в пользу блока с более высокой монетизацией. Выручка увеличилась. Исследователи приводят этот пример в статье A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments.

С конверсией возможна та же перемена взгляда. Дополнительная информация о сроках поставки может отсеять часть поспешных заказов и одновременно уменьшить отмены и нагрузку на поддержку. Более подходящие рекомендации могут приносить меньше быстрых покупок, но больше заработка за выбранный период.

Это гипотезы для проверки. Снижение конверсии само по себе их не опровергает, как и рост конверсии сам по себе не доказывает успех.

#Как это связано с Sales Ninja

В A/B-тестах Sales Ninja можно выбирать цель оптимизации: число конверсий, выручку, прибыль или предиктивную выручку. Прибыль можно передавать через API; доступен и расчёт как доли выручки. Для задач с разной маржой товаров важна передача фактической экономики: единый процент воспроизведёт ограничение, которое мы разобрали выше.

Аналитика Sales Ninja позволяет сопоставлять конверсии, выручку, прибыль и средний чек, разбирать воронку и учитывать нежелательные события. Это помогает увидеть, за счёт чего получен результат и где ему ещё не хватает данных.

А стриминг данных связывает работу с рекламой с бизнес-событиями: оплатами, квалифицированными лидами, отказами и возвратами. Состав доступных событий зависит от подключённого источника; способ использования каждого сигнала нужно согласовать с возможностями рекламной площадки.

У этой связки практический смысл: критерий успеха теста и сигналы для дальнейшей оптимизации должны описывать одну и ту же пользу для бизнеса. Команда выбирает показатель, состав расходов, окно наблюдения и пределы допустимого вреда. Платформа помогает работать с этим выбором на данных.

Рост конверсии заслуживает внимания. Решение внедрить изменение заслуживает более полного объяснения: какой дополнительный результат получила компания, за какой срок и какой ценой. Если этот ответ готов, зелёная стрелка в отчёте становится частью доказательства.

#Источники

• Dmitriev, Gupta, Kim, Vaz. A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments. KDD, 2017 — интерпретация метрик и пример MSN.
• Microsoft ExP. Patterns of Trustworthy Experimentation: Pre-Experiment Stage — подготовка теста, метрики и единица распределения.
• Microsoft ExP. Patterns of Trustworthy Experimentation: During-Experiment Stage — роли метрик, промежуточные проверки и сегменты.
• Liu, McCoy. Measuring e-Commerce Metric Changes in Online Experiments. WWW Companion, 2023 — зависимость торговых наблюдений и неопределённость оценки.
• Statsig. Non-inferiority: Proving features aren't worse, 2025 — проверка допустимого ухудшения.

Числовые примеры и расчёты подготовлены для этой статьи. Возможности Sales Ninja проверены по официальным страницам продуктов 20 октября 2026 года.