Лига Цифровой Экономики

Разработчик Hadoop

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • От 1 года до 3 лет
  • Kafka
  • Hadoop
  • Apache Spark

Масштабный проект по разработке хранилища данных в крупном банке на технологиях BDP. Ищем разработчика с желанием получить уникальный опыт в нашей команде

Твои задачи:

  • Заниматься миграцией ETL-потоков существующего DataLake на новый стек

Мы ждем от тебя:

  • Хорошие знания и опыт работы с Apache Spark и PySpark
  • Опыт работы с Hadoop и экосистемой Hive
  • Знание современных форматов данных, особенно Iceberg,
  • Опыт работы с распределёнными хранилищами и потоковыми платформами (Kafka, Flink)
  • Умение проектировать и оптимизировать ETL-процессы
  • Опыт работы с системами оркестрации задач (Oozie, AirFlow) будет преимуществом
  • Коммуникабельность и умение работать в команде

Что мы обеспечим:

  • Поездка на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
  • Техника для комфортной работы
  • Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
  • Сообщества по интересам: Лига Спорта, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании
  • Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды