Полный перевод статьи Uber Engineering «Designing Euclid to Make Uber Engineering Marketing Savvy» — «Как мы создавали Euclid, чтобы инженеры Uber лучше понимали маркетинг». Оригинал опубликован 19 октября 2016 года. Авторы — Mrina Natarajan и Hohyun Shim. Текст ниже передаёт состояние платформы и планы команды на момент публикации. Отдельное примечание Sales Ninja находится после перевода.

#Как мы создавали Euclid, чтобы инженеры Uber лучше понимали маркетинг
Нам нужны были быстрые, подробные и надёжные данные об окупаемости рекламы. Именно это побудило нас создать Euclid — внутреннюю маркетинговую платформу Uber. В начале этого года Euclid заменил прежнюю систему, в которой данные об окупаемости частично обрабатывались вручную. Ей становилось всё сложнее справляться с масштабом Uber и сложностью наших данных.
В отличие от готовых решений, экосистема Euclid на базе Hadoop и Spark позволяет нам масштабироваться вместе с Uber. Для этого мы используем MaRS — архитектуру API-плагинов, не зависящую от конкретного рекламного канала, — и собственный ETL-конвейер, который сводит разнородные данные к единой схеме, удобной для запросов. Слой визуализации поверх Euclid позволяет маркетологам получать показатели окупаемости и оптимизировать рекламные расходы. Возможности Euclid по распознаванию закономерностей дают ещё больше инструментов для маркетинговой аналитики.
Благодаря этому маркетологи могут выявлять мошенничество, автоматически распределять рекламный бюджет по каналам, странам, городам и продуктам, автоматизировать расходы, управлять кампаниями, настраивать детальный таргетинг по профилям аудитории и делать ставки на рекламу в реальном времени.
#Какие проблемы решает Euclid
Euclid стал таким, каким мы его знаем сегодня, потому что нам пришлось решить несколько давних проблем работы с маркетинговыми данными.
Автоматизация рекламных расходов.
Чтобы отказаться от ручного сбора и обработки данных, нам требовалась система, способная не только быстро и надёжно анализировать информацию, но и показывать расходы с детализацией по отдельным событиям — показам, кликам и установкам — из сотен внешних рекламных сетей по всему миру.
Работа со сложными данными.
Данные Uber поступают из более чем сотни каналов на каждую рекламную сеть. В каждом из них — более десяти тысяч кампаний, миллионы ключевых слов и множество креативов. Добавьте к этому разные валюты и типы продуктов Uber. Значение имеет не только масштаб, но и разнообразие: реклама в социальных сетях, медийная и поисковая реклама, объявления на сайтах вакансий и другие форматы усложняют схемы данных и сопоставление полей. При таких объёмах и сложности важны соглашения об уровне обслуживания — SLA. Мы должны обеспечивать поступление данных с обещанной периодичностью: каждый час или каждый день.
Точный расчёт окупаемости.
Раньше команды оценивали окупаемость на уровне каналов с задержкой. Задача Euclid состояла не только в сокращении этой задержки, но и в получении более подробных показателей — например, на уровне объявления, креатива или ключевого слова. Для этого нам нужно было объединить внутренние и внешние источники данных и использовать предиктивную аналитику для оценки будущих тенденций и многоканальной атрибуции.
#Архитектура Euclid
Система Euclid состоит из трёх основных частей: MaRS — Marketing Report Service, сервиса электронной почты и ETL-конвейера обработки данных.

#MaRS — Marketing Report Service
MaRS — микросервис для загрузки отчётов через плагины. Именно он позволил нам быстро масштабироваться: всего за пару месяцев мы подключили до 80 каналов. До появления Euclid маркетологи вручную составляли сводные недельные отчёты о расходах по сотням каналов во всём мире. Данные были недостаточно подробными, при работе с ними могли возникать ошибки, а маркетинговые команды не могли достаточно быстро реагировать на целевые показатели расходов и точно оптимизировать закупку рекламы.
MaRS решил эту проблему: он предоставил стандартный API-интерфейс для импорта данных о рекламных кампаниях через плагины. Плагины изолируют логику конкретной рекламной сети от остального ETL-конвейера. Это позволяет разрабатывать и тестировать зависящую от сети логику отдельно от Hadoop-конвейера. ETL-конвейер обращается к API MaRS и передаёт идентификатор сети, чтобы получить нужные данные о рекламных расходах, не зная специфики этой сети.
Такая архитектура позволяет поручать разработку плагинов внешним подрядчикам: они могут добавлять поддержку новых рекламных сетей. Это один из способов, которыми мы расширяли число каналов, подключённых к Euclid через API. Сейчас Euclid поддерживает более 30 плагинов, в том числе для Facebook*, Twitter и AdWords.
Реализовать плагин достаточно просто. Внешнему разработчику нужно унаследовать три базовых класса, определить схему Avro и задать правило нормализации:
- Класс Auth: выполняет аутентификацию в API рекламной сети.
- Класс Extractor: извлекает данные через API рекламной сети.
- Класс Transform: преобразует формат данных API в Avro.
- Схема Avro: хранит схему исходных данных рекламной сети.
- Правило нормализации: определяет, как сопоставить поля исходной схемы Avro с полями единой таблицы модели данных.
Инженеры могут реализовывать плагины независимо, не беспокоясь об изменениях в окружении сервиса или инфраструктуре данных. Конфигурируемый конвейер Hadoop Hive в сочетании с архитектурой API-плагинов MaRS позволяет быстро подключать новые плагины каналов без изменений в коде.
#Сервис электронной почты Euclid
Для каналов без API в Euclid предусмотрен механизм загрузки данных из вложений электронной почты. Каналы могут отправлять CSV-файлы в установленном формате. Этот сервис входит в архитектуру MaRS и позволяет рекламным сетям ежедневно передавать данные о расходах в виде вложений на заранее определённый адрес. Затем Euclid автоматически проверяет данные и передаёт их в ETL-конвейер. Таким способом система каждый день импортирует информацию из десятков небольших каналов.
#Как работает ETL-конвейер
ETL-конвейер Euclid построен на Hive. Для извлечения, нормализации и объединения поступающих данных он использует инструмент управления рабочими процессами:
- Extractor: обращается к MaRS для загрузки данных из API рекламных сетей.
- Normalizer: приводит исходные данные о расходах разных сетей к единой таблице Hive под названием
fact_marketing_spend_ad. - ROI joiner: соединяет расходы с данными о конверсиях — например, с регистрациями пользователей и первыми поездками — для расчёта подробных показателей окупаемости.
Поскольку MaRS берёт на себя логику рекламных сетей, ETL-конвейер, не зависящий от конкретного канала, позволяет обрабатывать маркетинговые данные Uber в большом масштабе и при этом сокращать затраты на его эксплуатацию и поддержку.
У каждого канала своя схема кампаний и отчётов, поэтому напрямую запрашивать и анализировать эти данные сложно. Но на этапе нормализации, управляемом конфигурацией, Euclid сводит разнородные данные из разных схем Avro в единую таблицу модели данных в формате Parquet. Это упрощает агрегацию, сравнение и анализ по разным измерениям и срезам.
Тем не менее ежедневная загрузка остаётся непростой задачей: схемы данных различаются, как и сроки их готовности, предусмотренные SLA. Например, API может перестать работать, когда его версия устаревает, меняются учётные данные или формат данных источника либо сами данные повреждены. Чтобы справляться с такими ситуациями, мы разработали для Euclid систему мониторинга и уведомлений на базе MySQL. Она выполняет различные проверки состояния данных. Автоматическое восстановление пропущенных данных, журналирование сбоев и уведомления дежурных инженеров позволяют установить причину проблем с целостностью данных.
Благодаря этому конвейер Euclid ежедневно загружает в Hadoop сотни миллионов записей.
#Оценка окупаемости маркетинга Uber до и после Euclid

#Подробные показатели окупаемости рекламы
Помимо стандартных показателей привлечения, для оценки рекламы важна стоимость привлечения пользователя, совершившего первую поездку с Uber. Раньше команды получали данные об окупаемости с задержкой. Теперь благодаря Euclid маркетологи быстро и надёжно получают подробную информацию.
Иерархический набор данных о расходах на кампании позволяет углубляться в анализ: до уровня креатива для медийной рекламы в социальных сетях, до ключевого слова для поисковой рекламы, до конкретного сайта вакансий для соответствующего канала — и так далее.
Ниже показаны три медийных креатива, которые маркетологи тестировали в одной кампании. Как вы думаете, какое объявление сработало лучше?

Чтобы понять, у какого объявления выше кликабельность — CTR, — маркетологи с помощью слоя визуализации Euclid изучают показатели отдельных креативов. Они видят подробные данные о расходах и окупаемости, которые Euclid загрузил и связал с конверсиями пользователей. В этом примере вариант с более крупным изображением — Variant B — показывает значительно более высокий CTR и работает лучше контрольного варианта и варианта с более мелким изображением — Variant A.
Когда в сотнях каналов размещены тысячи объявлений, многие из которых ведут внешние агентства, проверить состояние каждого вручную невозможно. В таких случаях Euclid помогает менеджерам каналов Uber быстро находить объявления с низкой эффективностью.
#Прогнозирование первых поездок
Между установкой приложения Uber и первой поездкой обычно проходит некоторое время. Если мы не знаем, когда состоится первая поездка, то не можем связать её с конкретным маркетинговым воздействием, которое подтолкнуло пользователя к действию. Вчерашние расходы на рекламу могли принести клики или установки, но пока не привести к регистрациям или первым поездкам.
Как в таком случае оценить окупаемость маркетинга? Загрузив данные о показах, кликах и установках, Euclid использует закономерности: где и когда регистрируются партнёры и пассажиры, какими устройствами они пользуются, с какими рекламными каналами взаимодействуют и так далее. Сопоставляя эту информацию с историческими данными о конверсиях, Euclid статистически прогнозирует, совершит ли пользователь первую поездку и когда это вероятнее всего произойдёт. По мере накопления данных для обучения моделей точность прогнозов увеличивается.
#Многоканальная атрибуция
Если пользователь сначала увидел объявление в социальной сети, затем нашёл Uber через поиск, нажал на поисковую рекламу и позже зарегистрировался, несправедливо приписывать весь результат поисковому объявлению. Многоканальная атрибуция — ещё одна задача, которую решает Euclid. Она требует изучать данные на уровне показов, анализировать весь путь пользователя к конверсии и распределять вклад в каждую конверсию между несколькими каналами с подходящими весами.
Понятная многоканальная атрибуция позволяет маркетологам правильно распределять бюджет между каналами. Euclid ежедневно получает данные о показах, затем анализирует их и обучает модели многоканальной атрибуции с помощью своего предиктивного механизма. В ближайшее время мы планируем внедрить эти модели на базе Hadoop и Spark в производственный конвейер маркетинговых данных.
#Что дальше

То, что мы уже разработали в технологическом стеке Euclid, помогло маркетологам понять, какие креативы, поисковые ключевые слова и рекламные кампании лучше работают в конкретном канале. В следующей версии мы хотим превратить Euclid в ещё более развитую маркетинговую систему, включающую платформы управления данными — DMP — и платформы закупки рекламы — DSP.
Поэтому, если у вас есть опыт работы с Hadoop, Hive, Spark, Kafka, Vertica или вы разбираетесь в SQL-базах данных и создании ETL-конвейеров, посмотрите, каких инженеров мы ищем для дальнейшего развития Euclid. Присоединяйтесь к нашей истории!
Эту статью подготовили Hohyun Shim — инженер-программист группы бизнес-платформ Uber Engineering, руководящий архитектурой Euclid, — и Mrina Natarajan.
Оригинал: Designing Euclid to Make Uber Engineering Marketing Savvy, Uber Engineering, 19 октября 2016 года.
#Примечание Sales Ninja: как это связано с нами
В России мы в Sales Ninja работаем с похожим классом задач предиктивного маркетинга. Наши моделируемые конверсии оценивают вероятность и ценность будущего результата и дают рекламным алгоритмам дополнительные сигналы до завершения сделки. Интеграции и стриминг данных помогают объединять события сайта, CRM и коллтрекинга и возвращать бизнес-результаты в рекламную аналитику.
Та же идея раннего использования данных применима на самом сайте: предиктивная персонализация подбирает варианты страниц и предложений под контекст посетителя. Это наш комментарий к материалу Uber; перечисленные возможности Sales Ninja не являются частью оригинальной статьи.
* Meta Platforms Inc., владеющая Facebook, признана экстремистской организацией; её деятельность по реализации Facebook и Instagram запрещена на территории Российской Федерации. Компания включена Росфинмониторингом в перечень террористов и экстремистов.
Оригинал статьи опубликован на uber.com
