Процесс
Определить задачи и их зависимости.
Что такое Apache Airflow
Apache Airflow — платформа для разработки, планирования и мониторинга пакетных рабочих процессов.
Где пригодится
Запуск
Настроить выполнение процесса.
Наблюдение
Проверить состояние и журнал задач.
Курсы с Apache Airflow
Яндекс ПрактикумАрхитектура корпоративных данных
Курс для опытных разработчиков и архитекторов о защите, интеграции и проектировании корпоративной архитектуры данных.
43 200 ₽
Стоимость курса
от 1 763 ₽ / мес. на 36 мес.
Яндекс ПрактикумMLOps для разработки и мониторинга моделей
Курс для технических специалистов с опытом ML: автоматизация подготовки данных, экспериментов, развёртывания и мониторинга моделей.
116 400 ₽
Стоимость курса
от 4 752 ₽ / мес. на 36 мес.
Яндекс ПрактикумИнженер данных
Курс по инженерии данных для специалистов с навыками SQL и Python: проектирование хранилищ, пайплайнов, Data Lake и потоковой обработки.
95 600 ₽
Стоимость курса
от 3 903 ₽ / мес. на 36 мес.
Яндекс ПрактикумИнженер данных с нуля
Курс Яндекс Практикума готовит инженеров данных с нуля: участники изучают Python и SQL, строят хранилища и автоматизируют обработку данных.
135 600 ₽
Стоимость курса
от 5 536 ₽ / мес. на 36 мес.
Что важно знать об инструменте «Apache Airflow»
Apache Airflow помогает описывать, планировать и отслеживать рабочие процессы, состоящие из связанных задач. Их зависимости задаются в виде направленного графа.
Платформу применяют для пакетной обработки данных и других повторяемых процессов. Освоение задач и зависимостей помогает делать выполнение и возникающие ошибки наблюдаемыми.
Airflow управляет запуском задач, а фактическая обработка может выполняться внешними системами. При настройке учитывайте повторные запуски, доступ к данным и состояние зависимостей.
Что посмотреть дальше
Инструменты
Программы, сервисы, языки и технологии помогают решать разные задачи. Выберите инструмент и узнайте, где его изучить.
Открыть