Мы ищем Senior Data Engineer в команду Data Science.
Обязанности:
- Проектирование, создание и поддержка витрин данных для задач Data Science и ML;
- Настройка и сопровождение процессов ETL/ELT;
- Мониторинг и повышение качества данных;
- Оптимизация хранения и обработки исторических данных;
- Взаимодействие с командой Data Science для формализации и сбора технических требований;
- Поддержка и развитие архитектуры данных.
Требования:
- Опыт работы Data Engineer от 4-х лет, в том числе в проектах, связанных с ML/DS;
- Глубокие знания в области хранения данных, управления их историчностью и построения архитектуры хранилищ для ML-решений;
- Практический опыт работы с инструментами: DBT (большой плюс), Airflow, Trino;
- Хорошие знания Python и SQL;
- Опыт использования GIT и Docker;
- Навыки работы с Hadoop экосистемой: HDFS, Hive, Spark;
- Опыт настройки систем мониторинга ETL-процессов;
- Умение собирать бизнес-требования и формализовывать ТЗ;
- Разговорный английский на уровне В1 (intermediate).