- Примерно на 10-15% улучшили метрики итоговых моделей. Точный прирост зависит от специфики проекта.
Не забывайте, что рост метрик модели не обязательно подразумевает аналогичный рост финансовых показателей рекламы.
- Существенно улучшили прогнозы по деньгам (выручка и прибыль), особенно для типичных еком проектов. Теперь прогнозируем на 20-30% более качественно, итоговые оценки выручки стали куда более плавными.
Смягчили ситуацию, когда могли очень качественно прогнозировать ценность по всему трафику, но сильно ошибаться в обе стороны в рамках отдельных рекламных кампаний (особенно небольших).
Улучшили качество обучения модели, если она оптимизируется по конверсии, которую мы читаем из Яндекс.Метрики.
Так же отметим, что качество оптимизации и работы моделей дошло до уровня, когда очень часто мы можем натренировать первую модель примерно на 20 накопленных реальных конверсиях. И это учитывая, что реальное обучение будет на 10-15 штуках, а остальные конверсии будут использованы для оценивания модели. Модель вряд ли будет хорошая, но это так же может быть полезно в критических ситуациях.
И как всегда, обновления начнут работать только после нового обучения моделируемой конверсии.
Оригинал статьи опубликован на t.me
