ВАМ ПРЕДСТОИТ:
- Проектирование и развитие Data Lakehouse на стеке S3 + Apache Iceberg: слои ODS → DDS → Data Marts;
- Разработка и оптимизация трансформаций на Trino + dbt: модели, тесты, инкрементальные стратегии, SCD2;
- Реализация DDS-слоя по методологии Business Data Vault (Hub / Link / Satellite);
- Проектирование и сопровождение data marts в ClickHouse для аналитических и BI-запросов;
- Разработка и поддержка DAG-ов в Apache Airflow: оркестрация пайплайнов, мониторинг, алертинг, retry-логика;
- Интеграция источников данных: Kafka CDC из 1С и PIM, REST API, файловые выгрузки;
- Обеспечение качества данных;
- Оптимизация производительности запросов Trino и ClickHouse: партиционирование, сортировка, materialized views;
- Участие в миграции существующих пайплайнов с текущего DWH (MSSQL Stage → DDS) на LakeHouse;
- Code review, документирование архитектурных решений.
МЫ ОЖИДАЕМ:
- Опыт в Data Engineering от 4 лет;
- Глубокое знание SQL, опыт оптимизации сложных аналитических запросов;
- Практический опыт работы с Apache Iceberg или Delta Lake в production;
- Опыт с Trino (Presto) или аналогичными MPP-движками (Spark SQL, Impala);
- Опыт с dbt: модели, макросы, тесты, инкрементальные стратегии, environments;
- Уверенное владение Apache Airflow: разработка DAG-ов, Sensors, Custom Operators, XCom, dynamic task mapping;
- Опыт с ClickHouse: проектирование таблиц, движки (MergeTree, ReplacingMergeTree), materialized views;
- Опыт работы с Kafka / Kafka Connect / CDC-потоками;
- Python на уровне написания production-кода (коннекторы, обработка данных, утилиты);
- Понимание Data Vault 2.0 / Business Data Vault как методологии моделирования DDS;
- Опыт работы с S3-совместимыми хранилищами (MinIO, AWS S3, Yandex Object Storage);
- Git, CI/CD для data-пайплайнов.
МЫ ПРЕДЛАГАЕМ:
- Оформление согласно ТК РФ в ИТ-компанию.
- График работы: 5/2 (9-18/10-19).
- Гибрид/полностью удаленная работа.
- Современный и комфортный офис, в шаговой доступности от м. Фили.
- Заботу о твоем здоровье (ДМС со стоматологией).
- Корпоративное обучение, скидки на изучение иностранного языка.
- Скидки на продукцию бренда.
LIMÉ - это компания сильных и успешных!