Ищем в команду Data Engineer на проект по построении. Платформы данных.
Цель:
Развитие экосистемы сбора, обработки, трансформации и визуализации данных.
Ключевые задачи:
-
Разработка и интеграция: Создание и внедрение новых пайплайнов данных.
-
Расширение возможностей: Подключение новых источников и доработка функционала информационной системы «Платформа данных».
-
Конфигурирование: Настройка и оптимизация существующих процессов ETL
Чем предстоит заниматься:
-
разработкой, конфигурированием и интеграцией новых пайплайнов, источников и возможностей ИС «Платформы данных».
Чего мы ждем от тебя:
- опыт работы с Airflow, kafka, PySpark, Базы данных, Git;
- очень желательно - Debezium, PixBI/PowerBI/Superset, dbt/sqlmesh, dagster.