Big Data Days 2020

24-26 ноября

Онлайн

Каштанов Дмитрий

Старший архитектор Cloud ML/AI

Россия, Piano.io

Биография

Дмитрий – ИТ-профессионал с широким спектром интересов и компетенций в ИТ-индустрии, и с почти 20-летним опытом. Закончил КНИТУ(КГТУ)-КАИ в 2003 году. За свою карьеру по несколько лет был разработчиком и архитектором ПО (C++, C# и т.д.) и аналитических решений, руководителем проектов, сервис-менеджером, руководителем подразделения по разработке и сопровождению ПО.
В данный момент фокусируется на Data Science и машинном обучении, облачных технологиях, асинхронной разработке на Python и бескомпромиссной автоматизации всего при создании и развитии ПО.

Доклад

Бессерверные мультиоблачные пайплайны для машинного обучения на основе Python и без Hadoop

Я хочу рассказать про наш опыт использования бессерверных технологий Amazon (StepFunctions, SageMaker, Lambda, Fargate) и Google (BigQuery) для создания решений на основе машинного обучения и Python. Нам удалось создать недорогие, управляемые и очень отказоустойчивые пайплайны, которые в данный момент мы очень легко масштабируем.
Я расскажу с какими вызовами и задачами, в том числе специфичными для бессерверных вычислений, мы столкнулись, и как мы их решили. Данные решения и подходы будут полезны при создании ваших решений подобного рода.

Ключевые слова

AWS Serverless
Sagemaker
Google BigQuery
Python

« Hазад