АйТиКвик
Senior Data Engineer
До 420 000 RUR
- Apache Airflow
- DAG
- Python
- ETL/ELT
- DBT
- Kafka
- Spark Streaming
- SQL
- PostgreSQL
- MSSQL
- Cloud
- Yandex Cloud
- Git
- CI/CD
Мы в поисках опытного Senior Data Engineer, который поможет нам развивать и поддерживать подсистему Market Data Hub (MDH) — эффективное хранилище биржевых данных с быстрой отдачей.
ВАЖНО: должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.
Команда разрабатывает биржевой аналитический продукт, который помогает инвесторам и трейдерам принимать взвешенные решения. Наша главная цель — качество данных, надежность системы и удобство работы с ней.
ВАЖНО: должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.
Команда разрабатывает биржевой аналитический продукт, который помогает инвесторам и трейдерам принимать взвешенные решения. Наша главная цель — качество данных, надежность системы и удобство работы с ней.
Что предстоит делать:
- Настраивать интеграции с источниками данных.
- Организовывать и поддерживать работу каталога данных.
- Поддерживать и улучшать хранилище данных.
- Взаимодействовать с командами разработки и аналитики.
Требования:
- Опыт работы с Apache Airflow в корпоративной среде:
• Настройка и управление пайплайнами данных.
• Разработка DAG на Python для автоматизации ETL-процессов.
• Оптимизация и мониторинг выполнения DAG-ов. - Самостоятельная разработка ETL/ELT процессов на основании бизнес-требований.
- Понимание принципов работы с каталогами данных.
- Опыт работы с DBT (Data Build Tool):• Разработка и поддержка моделей данных.
• Интеграция DBT в пайплайны данных.
• Версионирование моделей данных. - Опыт работы с потоковыми данными (Kafka, Spark Streaming).
- Глубокие знания Kafka: настройка, оптимизация, масштабирование.
- Уверенные навыки работы с SQL: написание сложных запросов, оптимизация производительности.
- Опыт работы с реляционными базами данных (PostgreSQL, MSSQL).
Будет плюсом:
- Опыт работы с облачными платформами (например, Yandex.Cloud).
- Навыки работы с Git, настройка CI/CD для дата-процессов.
Условия работы:
- Удаленная работа, свобода локации.
- Взаимодействие по ИП.
- Часовой пояс — московский (работаем в этом интервале).
- Двухнедельные спринты, ежедневные стендапы.
- Долгосрочный проект с интересными задачами.