Apache Airflow — надежная работа под высокой нагрузкой в условиях большой компании

Обсудим, как в крупной компании внедрить новый сервис для оркестрации ETL-пайплайнов.

Как сделать Airflow таким, чтобы всем было удобно им пользоваться всем: от конечного потребителя до тех, кто его будет поддерживать.

Рассмотрим виды инсталляций, их особенности, плюсы и минусы разных вариантов реализаций.

Изучим по максимуму возможные подводные камни, возникающие в работе, и обсудим, как их обойти.

Узнаем, как Airflow можно интегрировать с другими инструментами для расширения функциональности и повышения удобства.

Рассмотрим best practice в работе.

На реальном примере рассмотрим, с какими проблемами мы столкнулись и как их решали, какие фичи добавляли, с чем интегрировали.

Постараемся понять, куда двигаться дальше.