Мы ищем инженера, который любит ковыряться в данных, знает, как собрать нормальный пайплайн и держать весь DLH в порядке. Работа серьезная: много ETL, витрины, архитектура и постоянный контроль того, что под капотом.
Что нужно делать
-
Собирать и развивать объекты ядра Data LakeHouse: ETL-процессы, витрины, факт-таблицы и измерения на связке Trino + Spark + Iceberg.
-
Настраивать дата-контракты и следить за качеством данных.
-
Проектировать архитектуру DLH, чтобы все работало быстро, стабильно и без сюрпризов.
-
Контролировать общее состояние платформы и оперативно реагировать, если что-то пошло не так.
Что хотим увидеть у кандидата
-
Сильный SQL и уверенный Python.
-
Продвинутое понимание того, как устроены СУБД.
-
Знание подходов к построению хранилищ данных как структурированных, так и неструктурированных.
-
Умение работать с Docker, Kubernetes, Airflow, Kafka, Spark, а также с YAML, JSON, Git и S3.
-
Базовое понимание DevOps-практик и процессов CI/CD.
-
Опыт настройки мониторинга: Grafana, Zabbix, Prometheus — будет большим плюсом.