HALYK FINANCE, дочерняя организация АО Народный банк
Data Engineer
Не указана
- SQL
- DBT
- Debezium
- Greenplum
- Spark
- Data Lake
- PowerBI
- Apache NiFi
- Docker
- Python
- СУБД
- Airflow
- ETL-процессы
- DQ
- RabbitMQ
- DWH
- Git
- NoSQL СУБД
- Разработка ПО
- Постановка задач разработчикам
- Анализ требований
Обязанности:
- Участвовать в разработке отчетной системы
- Разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow)
- Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ)
- Дорабатывать и развивать хранилище данных, строить витрины данных
- Интегрировать новые источники данных в DWH
- Реализовывать проверки качества данных DQ
- Внедрять новые инструменты по работе с данными в компании
- В ходе работы выстраивать процессы коммуникации с заказчиками
-
Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы, опыт оптимизации больших SQL запросов.
- Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH моделирование данных, разбиение по слоям
- Хорошее знание Python (навыки работы с Pandas будут плюсом), опыт построения data pipeline’ов при помощи Airflow
- Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
- Знание технологий DBT, Debezium, Greenplum, Spark, Data Lake, k8s, PowerBI, Apache NiFi
- офисная работа,
- график работы 5/2 09:00 – 18:00
- развитие и карьерный рост
- годовая премия
- бонусы по итогам года
- повышение квалификации за счет Компании