Big Data Moscow 2018

Нельсон Арапе

Spotify, Sweden

Биография

Нельсон Арапе — разработчик программного обеспечения со степенью магистра наук в области Информатики и более чем 20-летним опытом. Он работает в компании Spotify над системой доставки событий. Его команда отвечает за своевременное перемещение множества данных. Нельсон предпочитает программирование на Java, но также работает с Python, Bash и некоторыми конвейерами данных на Scala. В прошлом Нельсон работал в качестве консультанта и лектора в его родной стране Венесуэле..

Доклад

События должны быть непрерывны: опыт, полученный в результате развития системы доставки событий Spotify

В настоящее время Spotify является одним из самых популярных музыкальных потоковых сервисов в мире с более чем 170 миллионами активных пользователей в месяц. Эти пользователи создают миллиарды событий в день, которые должны быть собраны и своевременно доставлены разработчикам. Такие события используются не только для вычисления размера выплаты лицензионных отчислений, но также для таких функций, как, Discover Weekly (еженедельный плейлист).
Обработка объема такого масштаба данных не всегда была такой простой. Имело место два случая, когда система доставки событий была перепроектирована с нуля, и мы должны были заменить работающую систему новой, без какого-либо вмешательства в поток событий. Цель доклада — эволюция данной системы и опыт, полученный в ходе ее развития.

Дата: 11 октября, 2018