Ищем Data Engineer на крупный банковский проект. Команда занимается загрузкой логов, бизнес-данных из различных источников для нужд команд платформы кибербезопасности
Твои задачи:
- Участвовать в интеграционных проектах по развитию DWH (Hadoop) в роли ETL- разработчика
- Разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop и ClickHouse
- Писать SQL запросы
- Участвовать в оптимизации и настройке производительности процессов обработки данных
- Анализировать и тестировать существующие решения в технологическом стеке Hadoop
- Уверенное владение SQL
- Опыт работы с реляционными СУБД (Oracle, MS/SQL, Posgres)
- Навыки программирования на Scala/Java/Python
- Понимание принципов построения хранилищ данных
- Опыт работы с REST API в части интеграции
Будет плюсом:
- Опыт работы с Hadoop (Spark, Hive, HDFS, YARN), NiFi, Kafka, ClickHouse, Flink.
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Технику для комфортной работы
- Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
- Сообщества по интересам: Лига Спорта, Лига Экспертов, Cyber Лига , а также возможность организовать свое сообщество и получить поддержку от компании
- Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды