RedLab

Data инженер

Не указана
  • Москва
  • От 3 до 6 лет
  • SQL
  • PostgreSQL
  • Java
  • Apache Spark

LITOTA GROUP - группа ИТ компаний, предоставляющая экспертизу для реализации самых амбициозных ИТ-проектов. Наше главное преимущество — команда высококвалифицированных специалистов, которых объединяет любовь к своему делу.

Мы обогащаем команды клиентов ценнейшим опытом экспертов, самостоятельно реализуем проекты и создаем ИТ-продукты, которые меняют рынки.

Наша репутация — это наши результаты:

🥇 1 место — Аутстаффинг / B2B (микро/малый/средний бизнес), 2024

🥉 3 место — Аутстаффинг / B2B (корпоративный сектор), 2024

300+ успешных проектов

92% постоянных клиентов

Наши клиенты: УБРиР, Vileda, Hyundai, Брусника, VK, Ростелеком, Еврохим, ГринМани, Doubletapp, НЛМК и другие лидеры рынка.

Мы разрабатываем продукты для ведущих российских банков и крупнейших корпораций. Присоединяйся к нам, чтобы работать на самых интересных и значимых проектах в IT-индустрии страны!

ЗАДАЧИ:

  • Разработка ETL на Apache Spark (Java стек)
  • Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
  • Разработка витрин данных в Greenplum и ClickHouse
  • Оркестрация ETL-процессов
  • Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
  • Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset

ОЖИДАНИЯ:

  • Опыт работы с Apache Spark
  • Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL)
  • Опыт работы с Hadoop (HDFS, Hive)
  • Опыт проектирования и разработки потоков данных, алгоритмов загрузки и
  • обработки данных
  • Опыт оптимизации ETL-пайплайнов и SQL кода
  • Продвинутые знания SQL
  • Понимание принципов работы распределенных систем
  • Готовность осваивать Java для использования Spark

БУДЕТ ПЛЮСОМ:

  • Опыт разработки на Java
  • Опыт работы в проектах, связанных с миграцией данных или BI-платформ
  • Опыт работы в банковской сфере, понимание бизнес домена
  • Опыт работы в крупных проектах с высокими требованиями к надежности

МЫ ПРЕДЛАГАЕМ:

  • Гибридный формат, комфортный офис в центре Москвы
  • Комфортную рабочую атмосферу
  • Формат договора обсуждается
  • Прозрачная система оплаты
  • Full-time занятость