Мы строим современную аналитическую платформу и ищем Data Engineer, который любит чистые, надёжные и масштабируемые пайплайны данных. Основной фокус — работа с dbt, Apache Airflow и ClickHouse.
Обязанности:
- Проектировать и развивать слои DWH (staging / raw → core / ODS / DDS → data marts);
- Строить и развивать трансформации данных с помощью dbt (модели, макросы, тесты, snapshots, documentation);
- Разрабатывать и поддерживать ETL/ELT-пайплайны на Python + Apache Airflow (создание, оптимизация и мониторинг DAG’ов);
- Работать с ClickHouse как основной аналитической БД: оптимизация таблиц, материализованные представления, запросы, партиционирование;
- Обеспечивать качество данных: писать тесты в dbt, мониторинг Data Quality, алёрты;
- Участвовать в выборе и внедрении решений для хранения и обработки данных (S3 / MinIO, Iceberg и т.д. - будет плюсом).
- Наш стек:
- Основной: Python, SQL, Apache Airflow, dbt, ClickHouse;
- Также используем: Git, Docker, Kubernetes (желательно), Superset / Metabase, Kafka (плюсом).
- От 1 года опыта в роли Data Engineer / DWH Engineer;
- Уверенный Python для написания пайплайнов;
- Хорошое понимание и практический опыт работы с Apache Airflow (DAGs, operators, scheduling, monitoring);
- Опыт коммерческой разработки на dbt (модели, тесты, Elementary или dbt Cloud - будет большим плюсом);
- Хорошее знание ClickHouse (или сильный опыт с другими OLAP-системами + готовность быстро погрузиться);
- Продвинутый SQL и понимание принципов моделирования данных (dimensional modeling, star/snowflake schema, layer architecture);
- Опыт построения end-to-end пайплайнов от сырых данных до готовых витрин;
- Понимание Data Quality, Data Governance и lineage;
- Умение работать в команде: code review, Jira/Confluence, Git-flow.
-
Будет плюсом:
- Опыт построения DWH / Lakehouse с нуля или существенной миграции;
- Знание Apache Spark, Trino, Iceberg, Kafka;
- Опыт в финтехе, маркетплейсе, e-commerce или высоконагруженных проектах;
- Знание принципов CI/CD для data-пайплайнов.
- Официальное трудоустройство;
- Полная занятость, график 5/2, гибрид
- Комфортный офис в центре города на ст. м. Адмиралтейская;
- Обучение и поддержка на этапе адаптации;
- Возможность профессионального роста;
- ДМС после прохождения испытательного срока;
- Скидки на продукцию компании, льготное питание.