Полный перевод статьи Uber Engineering «Designing Euclid to Make Uber Engineering Marketing Savvy» — «Как мы создавали Euclid, чтобы инженеры Uber лучше понимали маркетинг». Оригинал опубликован 19 октября 2016 года. Авторы — Mrina Natarajan и Hohyun Shim. Текст ниже передаёт состояние платформы и планы команды на момент публикации. Отдельное примечание Sales Ninja находится после перевода.

Обложка оригинальной статьи Uber Engineering

#Как мы создавали Euclid, чтобы инженеры Uber лучше понимали маркетинг

Нам нужны были быстрые, подробные и надёжные данные об окупаемости рекламы. Именно это побудило нас создать Euclid — внутреннюю маркетинговую платформу Uber. В начале этого года Euclid заменил прежнюю систему, в которой данные об окупаемости частично обрабатывались вручную. Ей становилось всё сложнее справляться с масштабом Uber и сложностью наших данных.

В отличие от готовых решений, экосистема Euclid на базе Hadoop и Spark позволяет нам масштабироваться вместе с Uber. Для этого мы используем MaRS — архитектуру API-плагинов, не зависящую от конкретного рекламного канала, — и собственный ETL-конвейер, который сводит разнородные данные к единой схеме, удобной для запросов. Слой визуализации поверх Euclid позволяет маркетологам получать показатели окупаемости и оптимизировать рекламные расходы. Возможности Euclid по распознаванию закономерностей дают ещё больше инструментов для маркетинговой аналитики.

Благодаря этому маркетологи могут выявлять мошенничество, автоматически распределять рекламный бюджет по каналам, странам, городам и продуктам, автоматизировать расходы, управлять кампаниями, настраивать детальный таргетинг по профилям аудитории и делать ставки на рекламу в реальном времени.

#Какие проблемы решает Euclid

Euclid стал таким, каким мы его знаем сегодня, потому что нам пришлось решить несколько давних проблем работы с маркетинговыми данными.

Автоматизация рекламных расходов.

Чтобы отказаться от ручного сбора и обработки данных, нам требовалась система, способная не только быстро и надёжно анализировать информацию, но и показывать расходы с детализацией по отдельным событиям — показам, кликам и установкам — из сотен внешних рекламных сетей по всему миру.

Работа со сложными данными.

Данные Uber поступают из более чем сотни каналов на каждую рекламную сеть. В каждом из них — более десяти тысяч кампаний, миллионы ключевых слов и множество креативов. Добавьте к этому разные валюты и типы продуктов Uber. Значение имеет не только масштаб, но и разнообразие: реклама в социальных сетях, медийная и поисковая реклама, объявления на сайтах вакансий и другие форматы усложняют схемы данных и сопоставление полей. При таких объёмах и сложности важны соглашения об уровне обслуживания — SLA. Мы должны обеспечивать поступление данных с обещанной периодичностью: каждый час или каждый день.

Точный расчёт окупаемости.

Раньше команды оценивали окупаемость на уровне каналов с задержкой. Задача Euclid состояла не только в сокращении этой задержки, но и в получении более подробных показателей — например, на уровне объявления, креатива или ключевого слова. Для этого нам нужно было объединить внутренние и внешние источники данных и использовать предиктивную аналитику для оценки будущих тенденций и многоканальной атрибуции.

#Архитектура Euclid

Система Euclid состоит из трёх основных частей: MaRS — Marketing Report Service, сервиса электронной почты и ETL-конвейера обработки данных.

Архитектура Euclid — иллюстрация из оригинальной статьи Uber

#MaRS — Marketing Report Service

MaRS — микросервис для загрузки отчётов через плагины. Именно он позволил нам быстро масштабироваться: всего за пару месяцев мы подключили до 80 каналов. До появления Euclid маркетологи вручную составляли сводные недельные отчёты о расходах по сотням каналов во всём мире. Данные были недостаточно подробными, при работе с ними могли возникать ошибки, а маркетинговые команды не могли достаточно быстро реагировать на целевые показатели расходов и точно оптимизировать закупку рекламы.

MaRS решил эту проблему: он предоставил стандартный API-интерфейс для импорта данных о рекламных кампаниях через плагины. Плагины изолируют логику конкретной рекламной сети от остального ETL-конвейера. Это позволяет разрабатывать и тестировать зависящую от сети логику отдельно от Hadoop-конвейера. ETL-конвейер обращается к API MaRS и передаёт идентификатор сети, чтобы получить нужные данные о рекламных расходах, не зная специфики этой сети.

Такая архитектура позволяет поручать разработку плагинов внешним подрядчикам: они могут добавлять поддержку новых рекламных сетей. Это один из способов, которыми мы расширяли число каналов, подключённых к Euclid через API. Сейчас Euclid поддерживает более 30 плагинов, в том числе для Facebook*, Twitter и AdWords.

Реализовать плагин достаточно просто. Внешнему разработчику нужно унаследовать три базовых класса, определить схему Avro и задать правило нормализации:

  • Класс Auth: выполняет аутентификацию в API рекламной сети.
  • Класс Extractor: извлекает данные через API рекламной сети.
  • Класс Transform: преобразует формат данных API в Avro.
  • Схема Avro: хранит схему исходных данных рекламной сети.
  • Правило нормализации: определяет, как сопоставить поля исходной схемы Avro с полями единой таблицы модели данных.

Инженеры могут реализовывать плагины независимо, не беспокоясь об изменениях в окружении сервиса или инфраструктуре данных. Конфигурируемый конвейер Hadoop Hive в сочетании с архитектурой API-плагинов MaRS позволяет быстро подключать новые плагины каналов без изменений в коде.

#Сервис электронной почты Euclid

Для каналов без API в Euclid предусмотрен механизм загрузки данных из вложений электронной почты. Каналы могут отправлять CSV-файлы в установленном формате. Этот сервис входит в архитектуру MaRS и позволяет рекламным сетям ежедневно передавать данные о расходах в виде вложений на заранее определённый адрес. Затем Euclid автоматически проверяет данные и передаёт их в ETL-конвейер. Таким способом система каждый день импортирует информацию из десятков небольших каналов.

#Как работает ETL-конвейер

ETL-конвейер Euclid построен на Hive. Для извлечения, нормализации и объединения поступающих данных он использует инструмент управления рабочими процессами:

  • Extractor: обращается к MaRS для загрузки данных из API рекламных сетей.
  • Normalizer: приводит исходные данные о расходах разных сетей к единой таблице Hive под названием fact_marketing_spend_ad.
  • ROI joiner: соединяет расходы с данными о конверсиях — например, с регистрациями пользователей и первыми поездками — для расчёта подробных показателей окупаемости.

Поскольку MaRS берёт на себя логику рекламных сетей, ETL-конвейер, не зависящий от конкретного канала, позволяет обрабатывать маркетинговые данные Uber в большом масштабе и при этом сокращать затраты на его эксплуатацию и поддержку.

У каждого канала своя схема кампаний и отчётов, поэтому напрямую запрашивать и анализировать эти данные сложно. Но на этапе нормализации, управляемом конфигурацией, Euclid сводит разнородные данные из разных схем Avro в единую таблицу модели данных в формате Parquet. Это упрощает агрегацию, сравнение и анализ по разным измерениям и срезам.

Тем не менее ежедневная загрузка остаётся непростой задачей: схемы данных различаются, как и сроки их готовности, предусмотренные SLA. Например, API может перестать работать, когда его версия устаревает, меняются учётные данные или формат данных источника либо сами данные повреждены. Чтобы справляться с такими ситуациями, мы разработали для Euclid систему мониторинга и уведомлений на базе MySQL. Она выполняет различные проверки состояния данных. Автоматическое восстановление пропущенных данных, журналирование сбоев и уведомления дежурных инженеров позволяют установить причину проблем с целостностью данных.

Благодаря этому конвейер Euclid ежедневно загружает в Hadoop сотни миллионов записей.

#Оценка окупаемости маркетинга Uber до и после Euclid

Как Euclid рассчитывает окупаемость — иллюстрация из оригинальной статьи Uber

#Подробные показатели окупаемости рекламы

Помимо стандартных показателей привлечения, для оценки рекламы важна стоимость привлечения пользователя, совершившего первую поездку с Uber. Раньше команды получали данные об окупаемости с задержкой. Теперь благодаря Euclid маркетологи быстро и надёжно получают подробную информацию.

Иерархический набор данных о расходах на кампании позволяет углубляться в анализ: до уровня креатива для медийной рекламы в социальных сетях, до ключевого слова для поисковой рекламы, до конкретного сайта вакансий для соответствующего канала — и так далее.

Ниже показаны три медийных креатива, которые маркетологи тестировали в одной кампании. Как вы думаете, какое объявление сработало лучше?

Три рекламных креатива: контроль, вариант A и вариант B — иллюстрация Uber

Чтобы понять, у какого объявления выше кликабельность — CTR, — маркетологи с помощью слоя визуализации Euclid изучают показатели отдельных креативов. Они видят подробные данные о расходах и окупаемости, которые Euclid загрузил и связал с конверсиями пользователей. В этом примере вариант с более крупным изображением — Variant B — показывает значительно более высокий CTR и работает лучше контрольного варианта и варианта с более мелким изображением — Variant A.

Когда в сотнях каналов размещены тысячи объявлений, многие из которых ведут внешние агентства, проверить состояние каждого вручную невозможно. В таких случаях Euclid помогает менеджерам каналов Uber быстро находить объявления с низкой эффективностью.

#Прогнозирование первых поездок

Между установкой приложения Uber и первой поездкой обычно проходит некоторое время. Если мы не знаем, когда состоится первая поездка, то не можем связать её с конкретным маркетинговым воздействием, которое подтолкнуло пользователя к действию. Вчерашние расходы на рекламу могли принести клики или установки, но пока не привести к регистрациям или первым поездкам.

Как в таком случае оценить окупаемость маркетинга? Загрузив данные о показах, кликах и установках, Euclid использует закономерности: где и когда регистрируются партнёры и пассажиры, какими устройствами они пользуются, с какими рекламными каналами взаимодействуют и так далее. Сопоставляя эту информацию с историческими данными о конверсиях, Euclid статистически прогнозирует, совершит ли пользователь первую поездку и когда это вероятнее всего произойдёт. По мере накопления данных для обучения моделей точность прогнозов увеличивается.

#Многоканальная атрибуция

Если пользователь сначала увидел объявление в социальной сети, затем нашёл Uber через поиск, нажал на поисковую рекламу и позже зарегистрировался, несправедливо приписывать весь результат поисковому объявлению. Многоканальная атрибуция — ещё одна задача, которую решает Euclid. Она требует изучать данные на уровне показов, анализировать весь путь пользователя к конверсии и распределять вклад в каждую конверсию между несколькими каналами с подходящими весами.

Понятная многоканальная атрибуция позволяет маркетологам правильно распределять бюджет между каналами. Euclid ежедневно получает данные о показах, затем анализирует их и обучает модели многоканальной атрибуции с помощью своего предиктивного механизма. В ближайшее время мы планируем внедрить эти модели на базе Hadoop и Spark в производственный конвейер маркетинговых данных.

#Что дальше

Технологический стек Euclid — иллюстрация из оригинальной статьи Uber

То, что мы уже разработали в технологическом стеке Euclid, помогло маркетологам понять, какие креативы, поисковые ключевые слова и рекламные кампании лучше работают в конкретном канале. В следующей версии мы хотим превратить Euclid в ещё более развитую маркетинговую систему, включающую платформы управления данными — DMP — и платформы закупки рекламы — DSP.

Поэтому, если у вас есть опыт работы с Hadoop, Hive, Spark, Kafka, Vertica или вы разбираетесь в SQL-базах данных и создании ETL-конвейеров, посмотрите, каких инженеров мы ищем для дальнейшего развития Euclid. Присоединяйтесь к нашей истории!

Эту статью подготовили Hohyun Shim — инженер-программист группы бизнес-платформ Uber Engineering, руководящий архитектурой Euclid, — и Mrina Natarajan.

Оригинал: Designing Euclid to Make Uber Engineering Marketing Savvy, Uber Engineering, 19 октября 2016 года.


#Примечание Sales Ninja: как это связано с нами

В России мы в Sales Ninja работаем с похожим классом задач предиктивного маркетинга. Наши моделируемые конверсии оценивают вероятность и ценность будущего результата и дают рекламным алгоритмам дополнительные сигналы до завершения сделки. Интеграции и стриминг данных помогают объединять события сайта, CRM и коллтрекинга и возвращать бизнес-результаты в рекламную аналитику.

Та же идея раннего использования данных применима на самом сайте: предиктивная персонализация подбирает варианты страниц и предложений под контекст посетителя. Это наш комментарий к материалу Uber; перечисленные возможности Sales Ninja не являются частью оригинальной статьи.


* Meta Platforms Inc., владеющая Facebook, признана экстремистской организацией; её деятельность по реализации Facebook и Instagram запрещена на территории Российской Федерации. Компания включена Росфинмониторингом в перечень террористов и экстремистов.