Обязанности:
-
Разработка конвейеров ETL с использованием Spark;
-
Разрабатывать витрины данных с помощью экосистемы Hadoop;
- Организовать конвейеры ETL с помощью Airflow/Oozie;
- Следить за качеством данных.
Требования:
-
Опыт работы с данными от 1 года (большие данные не обязательны);
-
1+ лет в Python и SQL;
- Базовые знания Airflow/Oozie;
- Знания git и devops (docker, kubernetes);
- Scala — это плюс
- Стек: Hadoop, Spark, Hive, Kafka, Postgres, Airflow/Oozie,
- Языки: Python, SQL, Scala
Условия:
- Корпоративная мобильная сеть;
- Развитая корпоративная культура;
- ДМС;
- 24 дня отпуска.