Обязанности:
- Разработка ETL/ELT процессов для извлечения, трансформации и загрузки данных
- Интеграция разнородных источников данных (БД, API, файлы, стримы)
- Настройка CI/CD для pipeline данных и оптимизация их производительности
- Мониторинг и поддержка работающих pipeline
- Реализация инкрементальной загрузки данных
- Мониторинг качества данных
- Знание SQL
- Знание Python, Java (опционально)
- Построение масштабируемых data pipeline (CI/CD, Docker, Kubernates)
- Oracle, PostgreSQL, Elasticsearch
- Apache AirFlow, Kafka, Spark
- Grafana, FineBI
- Аналитическое мышление