Big Data Moscow 2018

Жерар Тонстра

BigData Republic,
Голландия

Биография

Жерар работает руководителем отдела систем сбора и обработки данных в BigData Republic. Отдел систем сбора и обработки данных отвечает за сопровождение и поддержку действующих решений доставки данных, а также их обновление с целью улучшения работы в будущем. Жерар также является Kaggle master и энтузиастом поддержки Apache Airflow.

Доклад

Управление данными с помощью Apache Airflow

Перед компаниями стоит актуальная задача поиска способов централизации данных, поступающих из многочисленных источников, для их дальнейшей обработки и вывода преобразованных данных с помощью других инструментов и сред. Представленные данные помогают аналитикам и специалистам по обработке данных получить четкую картину, необходимую для оптимизации бизнес-процессов.

Информационные хранилища были в большей степени изолированными доменами для группы опытных инженеров, но организациям, зависящим от данных, необходимо предоставить возможности обработки данных гораздо более большой группе инженеров, аналитиков и специалистов по обработке данных. Apache Airflow — это обработчик потока данных, который убирает сложность процессов извлечения, преобразования и загрузки, пост-обработки и машинного обучения, таким образом, инженеры и аналитики, обладающие разными уровнями мастерства, могут максимально приложить свои усилия к своей основной деятельности: извлечение ценности из данных.

Дата: 11 октября, 2018