Big Data Days 2019

 8-10 октября   Москва

Александр Заболоцкий

Райффайзенбанк, Россия

Сергей Самсонов

Райффайзенбанк, Россия

Александр Заболоцкий

Руководитель Data Governance & Data Quality в Райффайзен Банке, Business Owner MDM системы Банка. Один из авторов операционного хранилища данных, предназначенного для трансформаций данных в режиме near real time, и расчета дельт между большими data set-ами. Профессионал по исследованию данных и обеспечения прозрачности потоков данных в Банке. Любит решать задачи под лозунгом “mission impossible”.

Сергей Самсонов

Архитектор стриминговой платформы Райффайзенбанка. Большой энтузиаст Kubernetes как менеджера ресурсов систем распределенной обработки данных, таких как Apache Spark, Apache Flink и других инструментов. Руководил разработкой Data Lake в Fasten Inc, а также реализацией стриминговой платформы на Kubernetes в Vezet Group. Имеет опыт автоматизации CI/CD для Spark- и Flink-приложений.

Мастер-класс

Основы управления распределенными приложениями обработки данных на Kubernetes

Узнаете о моделях и ключевых паттернах управления распределенными приложениями на Kubernetes. Вы будете описывать логику трансформаций на Apache Beam, а затем в кластере Kubernetes запускать реализованный пайплайн, как в batch-, так и streaming-режимах на Apache Spark и Apache Flink, соответственно. После чего используя GitLab CI/CD вы реализуете пайплайн сборки и деплоя приложений в Kubernetes.

Практические занятия будут проводиться в 4 этапа:

  • Подготовка рабочего окружения;
  • Описание трансформаций данных на Apache Beam;
  • Реализация CI/CD-пайплайна для управления streaming-приложением (execution engine – Apache Flink, инструментарий – GitLab CI/CD, Helm, Kubernetes);
  • Реализация CI/CD-пайплайна для управления batch-приложением (execution engine – Apache Spark, инструментарий – GitLab CI/CD, Helm, Kubernetes);