Чем предстоит заниматься:
- следить в приложениях и в кубере за выполнением заданий, своевременно реагировать на падения;
- своевременно обновлять секреты, доступы;
- разрабатывать низкоуровневые темплейты - управление ресурсами запускаемых задач, оптимизировать расписания;
- разрабатывать ci/cd пайплайны;
- Доработать и сопровождать flink, kafka;
- управлять scaling'om - динамическим распределением ресурсов в кубернетес и прочими разрешениями, для сетевых и вычислительных ресурсов;
- подключать новые источники к dbt, omd;
- настраивать среды разработки dbt models и openmetadata validators, консультировать по разработке omd валидаторов и dbt моделей;
- разрабатывать высоконагруженные источники, с которыми перестал справляться airflow - на базе низкоуровневого сервиса datahub.
Чего мы ждем от тебя:
- хорошие навыки в командной строке кубер, helm, docker - cобираем всё с нуля (from scratch) в контуре ci/cd;
- желательно профессиональный бекграунд в datascience и/или дата инженер;
М предлагаем:
Удаленный формат работы, 5/2, гибкое начало рабочего дня.