Полный перевод статьи Exclude from Your Taste Profile, опубликованной в Spotify Engineering 20 октября 2023 года. Автор — Марк Ко (Mark Koh), старший ML-инженер Spotify. Рассказ от первого лица и данные приведены по оригиналу; «сегодня» в авторском тексте относится к дате его публикации. После перевода отдельно размещено примечание редакции Sales Ninja.
#Что такое «Исключить из профиля вкуса»?
Вы родитель, которому приходится снова и снова включать заглавную песню из «Блуи»? Работаете из дома под лоу-фай-биты или спокойную фортепианную музыку? Засыпаете под тихие фоновые звуки?
Вас расстраивает, когда эти композиции оказываются среди ваших самых прослушиваемых треков по итогам года или появляются в Discover Weekly? Если да, вы не одиноки!
Большинство наших пользователей говорят, что предпочитают Spotify другим платформам, потому что очень любят нашу персонализацию. Но долгое время ей не удавалось точно отражать музыкальные предпочтения некоторых слушателей по одной главной причине: наши системы считали всё, что человек слушает, отражением его музыкального вкуса.
Обычно это базовое предположение работает, но оно даёт сбой в трёх сценариях использования Spotify, которые мы наблюдали:
- Люди включают музыку для определённой задачи — например, чтобы заснуть, потренироваться, научиться играть на музыкальном инструменте или разучить танец под K-pop, — и не хотят, чтобы такое прослушивание влияло на рекомендации.
- Люди включают музыку для других — например, для детей или чтобы создать атмосферу на вечеринке, — и не хотят, чтобы это влияло на рекомендации.
- Люди пользуются одним аккаунтом вместе с другими и не хотят, чтобы чужие прослушивания влияли на их рекомендации.

В феврале 2023 года Spotify ответил на эти жалобы запуском новой функции: Exclude from your taste profile — «Исключить из профиля вкуса». В меню плейлиста появилась простая кнопка, с помощью которой пользователи могли сообщить Spotify, что хотят уменьшить влияние этого плейлиста на музыкальные рекомендации.

#С чего всё началось
Возможно, вы задаётесь вопросом: что такое «профиль вкуса»? Это ещё один способ сказать «то, что влияет на ваши рекомендации». Его нельзя извлечь и посмотреть как какой-то конкретный объект: это представление Spotify о ваших предпочтениях, основанное на том, что и как вы слушаете. Профиль вкуса определяет ваши рекомендации и подборки, отражающие ваши вкусы, например Blend.
В 2019 году я сам был одним из тех пользователей Spotify, о которых рассказал выше. Я постоянно слушаю музыку для сна, и каждую неделю мои рекомендации заполнялись усыпляющим фортепиано и атмосферными синтезаторными треками. При этом днём я обычно слушал энергичную электронную танцевальную музыку, ритмичный фанк и музыку Западной Африки, но в рекомендациях они появлялись редко.
Хотя я работал над основными системами музыкальных рекомендаций, на которых строится персонализация Spotify, я мало что мог сделать, чтобы мой Discover Weekly не превращался в Discover Sleepy — «Открой для себя сон». Поэтому во время Hack Week в 2019 году я решил заняться этой проблемой всерьёз.
Для начала я изучил свою историю прослушиваний и выяснил, что больше 30% приходилось на музыку для сна. Неудивительно, что Spotify считал меня большим поклонником эмбиента! Затем я опросил коллег и обнаружил, что дело не только в музыке для сна. Среди того, что сотрудники чаще всего не хотели видеть в своих рекомендациях, были детская музыка, лоу-фай-биты и бодрые треки для тренировок. Мы стали называть такое поведение «функциональным прослушиванием»: человек включает музыку для определённой задачи, но не хочет открывать для себя больше музыки такого рода.
Чтобы оценить масштаб проблемы, несколько человек из нашей команды проанализировали более широкую аудиторию Spotify. Мы обнаружили, что функциональную музыку слушают миллионы пользователей. Самое важное: эти люди пользовались рекомендациями Spotify реже, чем те, кто такую музыку не слушал.
В течение следующих трёх лет на каждой Hack Week я работал с командой аналитиков и инженеров, чтобы создать решение, которое мы могли бы выпустить для пользователей.
#«Это же просто кнопка. Что здесь может быть сложного?»
Для пользователя эта функция выглядит как простая кнопка в контекстном меню плейлиста.
Но за этой простотой скрывается сложность. Если заглянуть за кулисы «алгоритма Spotify», вы не найдёте единственного всезнающего искусственного интеллекта. Вместо него там работает сложный набор алгоритмов и моделей машинного обучения, которые действуют согласованно — можно сказать, в унисон, — чтобы в каждый момент рекомендовать каждому пользователю подходящую музыку. Когда человек нажимает эту «простую кнопку», мы должны сообщить всем этим системам: «Каждый раз, когда пользователь X слушает музыку из плейлиста Y, просто считайте, что этих прослушиваний не было». Как же мы это сделали?
Почти все разделы Spotify, в которых рекомендуют музыку, получают профиль вкуса пользователя из нескольких основных систем. Эти системы отслеживают недавние прослушивания, любимые треки и исполнителей, положение пользователя в абстрактном музыкальном пространстве — его векторное представление, или user embedding, — и даже взаимодействия с приложением Spotify. Мы решили применять настройки «Исключить из профиля вкуса» непосредственно в этих системах формирования профиля.

Благодаря такому подходу функция может влиять на рекомендации на главной странице, в поиске, Discover Weekly, Radio и других разделах. Командам, отвечающим за эти разделы, при этом не нужно менять свои собственные системы. В некоторых разделах — например, в быстрых переходах на главной странице и списке недавно прослушанного — фильтрация, наоборот, не нужна. Поэтому мы также предусмотрели возможность получать перечисленные выше данные без фильтрации.
#Почему именно плейлисты?
Мне часто задают этот вопрос, и было бы неправильно оставить его без ответа. В Spotify есть много разных сущностей: треки, исполнители, подкасты и так далее. Почему же мы реализовали эту функцию только для плейлистов?
Анализ данных и исследования пользователей показали, что большая часть функциональной музыки приходилась именно на плейлисты. Поскольку на старте наши ресурсы были ограничены, разумнее всего было выбрать одну сущность и хорошо с ней поработать. Плейлисты должны были стать испытательной площадкой, чтобы в дальнейшем распространить этот подход и на другие сущности.
Но даже после этого выбора нам предстояло решить ещё несколько вопросов о работе функции. Если мы исключаем плейлист, нужно исключить все его треки или только прослушивания, запущенные из него? Что делать, если состав плейлиста изменится: перестать игнорировать эти треки? Исключать прошлые прослушивания или только те, которые произошли после нажатия кнопки? Нужно ли определять, какая музыка содержится в плейлисте, и исключать из профиля вкуса всю музыку такого типа?
В большинстве этих вопросов мы в итоге выбрали вариант, который был понятнее всего с точки зрения реализации и при этом сильнее всего влиял бы на рекомендации пользователя:
- Мы решили исключать любые прослушивания из выбранного плейлиста. Но если человек слушал те же треки вне этого плейлиста, они по-прежнему учитывались в профиле вкуса.
- Чтобы эффект был заметен, мы решили исключать и будущие, и прошлые прослушивания из данного плейлиста. Если вы целый год каждую ночь слушали плейлист с белым шумом, а мы исключили бы только прослушивания после нажатия кнопки, изменения в рекомендациях могли бы проявиться лишь через много месяцев.
- Мы не умеем читать мысли, поэтому решили не угадывать по одному действию, какой ещё контент пользователь хотел бы исключить. Мы выбрали максимально явный подход, и благодаря этому его было относительно просто реализовать в системах профиля вкуса.
#A/B-тест
После многих Hack Week в Spotify функция наконец заработала, и мы были готовы показать её части пользователей. Однако мы развивали эту инициативу своими силами и с ограниченными ресурсами, поэтому не вся внутренняя работа была завершена. Из перечисленных выше систем мы изменили только векторные представления пользователей, надеясь, что уже этого хватит для заметного улучшения. Кроме того, мы решили напрямую применить фильтрацию к одной конкретной рекомендательной подборке — On Repeat.
На протяжении разработки мы показывали функцию сотрудникам и собирали обратную связь, чтобы быстро вносить изменения, прежде чем выпустить её для пользователей. Это помогло как отладить интерфейс, так и убедиться, что влияние на рекомендации действительно заметно.
Хотя внутри Spotify функцию приняли хорошо, мы понимали, что нельзя просто взять и начать менять основные рекомендательные системы. Прежде чем запускать её для пользователей по всему миру, нам нужно было доказать, что наш подход действительно улучшает их опыт прослушивания. Надёжный способ получить такие доказательства — A/B-тест с реальными пользователями.
Мы выбрали около 100 редакционных плейлистов Spotify, слушателям которых эта функция с большой вероятностью могла быть нужна: например, Peaceful Piano, Deep Sleep и Sing Along. Во время теста при посещении этих плейлистов пользователям показывали специальное сообщение. Оно рассказывало о функции и предлагало исключить плейлист из профиля вкуса.

Когда тест завершился, результаты превзошли наши ожидания! Данные показали, что пользователи функции стали больше слушать рекомендованный контент и в целом больше слушать Spotify. Сообщение о функции тоже сыграло огромную роль: около 12% пользователей нажали кнопку Open Menu — «Открыть меню». Это показывало большой интерес к улучшению рекомендаций, даже если человек в итоге не воспользовался самой функцией.
#Финишная прямая
Убедительные данные™ о том, что подход работает, помогли нам добиться приоритета для оставшихся задач у команд, от которых зависела подготовка функции к полноценному запуску.

Как уже говорилось, в A/B-тесте мы реализовали влияние функции только на векторные представления пользователей. Но в следующие несколько месяцев команды, отвечающие за работу систем в продакшене, добавили эту логику к недавним прослушиваниям, любимым трекам и исполнителям и взаимодействиям с приложением. И, конечно, мы хотели, чтобы функция работала по всему миру, поэтому перевели интерфейс на 88 языков.
Последнее, что нам предстояло уточнить, — на какие разделы должна влиять функция «Исключить из профиля вкуса». У каждой алгоритмической подборки и каждого раздела Spotify своё назначение. Например, Discover Weekly целиком посвящён поиску новой музыки. А списки Your Shortcuts и Recently Played на главной странице помогают вернуться к уже знакомому — это то, что мы называем retrieval. Между этими крайностями находятся Daily Mix и поиск: они помогают находить новую музыку, сочетая её с уже знакомой.
«Профиль вкуса» — абстрактное понятие, и каждый раздел использует его по-своему. В итоге мы оставили командам, отвечающим за эти разделы, право решить, к чему ближе их сценарий: к открытию нового или к возвращению к знакомому. Как правило, в разделах для возвращения к знакомому «исключённые» прослушивания не отфильтровывали. Ведь их задача — отражать факты, а не интерпретацию музыкального вкуса пользователя.

В феврале 2023 года функция наконец вышла! На сегодняшний день ею воспользовались больше 20 миллионов пользователей. В среднем они слушают примерно на 4% больше музыки из рекомендаций, чем раньше. Более того, слушатели, использующие «Исключить из профиля вкуса», в целом слушают в Spotify почти на 10% больше музыки. Большинство функций, которые мы выпускаем, сдвигают эти показатели на доли процента, поэтому эта функция явно оказала существенное влияние на пользовательский опыт.
#Подводя итог
Если у вас есть большая идея, которую вы хотите реализовать в своей компании, но для неё нужно больше ресурсов, чем имеется, вот несколько советов, которые помогут достичь цели:

- Подготовьтесь! Будьте готовы брать на себя любую роль, которая понадобится проекту, и к тому, что иногда придётся работать допоздна.
- Проведите офлайн-анализ имеющихся данных, чтобы оценить возможный эффект. Определите, на какие метрики должна повлиять ваша функция. Ещё лучше, если это показатели, которые уже важны для компании.
- Соберите самый простой прототип. Пока не беспокойтесь об изменении метрик. Можно даже сделать «нарисованную дверь», если вы в состоянии собрать только интерфейс, но не реализовать бэкенд.
- Сделайте MVP, который в ходе тестирования мог бы повлиять на одну-две важные метрики. Начните с малого, но добивайтесь реального эффекта. Затем проведите A/B-тест.
- Возьмите на себя роль продакт-менеджера, если обычно вы занимаетесь другим, и подготовьте план развития функции. Определите, что и от кого требуется, и изложите всё в одностраничном описании продукта.
- Используйте убедительные данные A/B-теста и план развития, чтобы заручиться поддержкой. Обратитесь к руководству за помощью в координации нужных команд.
- Постарайтесь назначить ориентировочную дату запуска. Скорее всего, сначала это будет лишь предварительный ориентир, но он поможет расставить приоритеты. Работайте вместе со всеми участниками, создайте решение и выпустите его!
Применив эти советы, мы смогли запустить функцию и дать пользователям больше контроля над рекомендациями. Но мы понимаем, что она пока не идеальна. Мы получаем множество полезных отзывов о том, как её развивать дальше. И можете не сомневаться: мы продолжим работать над тем, чтобы музыкальные рекомендации Spotify становились всё лучше!
#Благодарности
Эта функция не появилась бы без помощи множества людей и команд Spotify. Всех перечислить невозможно, но некоторые заслуживают особой благодарности за свой вклад в «Исключить из профиля вкуса»: Dominique Izbicki — продукт; Manizeh Khan — продукт; Erica Leh — Data Science; Mat Budelman — дизайн; Pierre Thomain — мобильная разработка; Erik Price — мобильная разработка; Nandini Singh — Data Science; Joni Martens — пользовательские исследования; Jeremy Salfen — Data Science; Bindia Kalra — инженерия данных; April Gustafson — инженерия данных; Deepa Chawla — инженерия данных; Baturalp Torun — данные и бэкенд-разработка; Anton Vietrov — бэкенд-разработка; Daniel Byrne — PR; Brittney Le Roy — PR; Alexandera Wei — продуктовый маркетинг; Jill Pollock — юридические вопросы; Chris Bennett — юридические вопросы. И спасибо всем, кого я забыл упомянуть!
#Примечание редакции Sales Ninja
В интернет-магазине похожая задача возникает, когда человек покупает подарок или выбирает товар для другого: действие подтверждено, но его значение для постоянных интересов покупателя неоднозначно. Качество данных для рекомендаций зависит и от того, насколько точно система учитывает контекст таких действий.
В Sales Ninja мы работаем с товарными рекомендациями и ML-ранжированием товаров на сайте: рекомендации подбирают товары для отдельных блоков, а ранжирование определяет порядок переданного списка. История Spotify хорошо показывает, почему работа с данными и смыслом пользовательских событий важна для обеих задач.
Оригинал статьи опубликован на engineering.atspotify.com
