Employcity

Lead Data Engineer

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • От 3 до 6 лет
  • Python
  • Apache Airflow
  • Apache Spark
  • Spark Streaming
  • Kafka
  • k8s
  • Docker-compose
  • CI/CD
  • Kimball
  • Medallion
  • OBT
  • dbt

Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой развлекательные онлайн-сервисы находится в поисках Lead Data Engineer.

Обязанности и задачи:

  • Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов.

  • Развитие дата-платформы: проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости.

  • Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией.

  • Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков.

  • Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных.

Требуемые знания и опыт:

  • Опыт лидства от 2 лет.

  • Опыт работы дата инженером от 5 лет.

  • Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)

  • Python (будет плюсом Scala / Go)

  • Отличное понимание Airflow.

  • Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka.

  • Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами.

  • Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой.

  • Умение находить общий язык с бизнес пользователями.

  • Жирным плюсом будет опыт работы с dbt.​​​​​​

Что компания может предложить:

  • Возможность развивать свои компетенции и применять знания на практике;
  • Возможность поработать на крупных проектах;
  • Компания заинтересована в развитии своих сотрудников: готовы привлекать наставников и оплачивать курсы для повышения квалификации;
  • Отсутствие бюрократии, быстрое согласование необходимых вещей;
  • Оплачиваемые отпускные и больничные;
  • Годовой бонус по результатам работы;
  • Компенсация спортзала;
  • Частичная компенсация английского языка или психолога (на выбор);
  • Компания поддерживает сотрудника в важные периоды жизни;
  • Предоставляем 4 day-off в год за счет компании;
  • ДМС после 6 месяцев работы;
  • Пересмотр заработной платы по результатам работы;
  • Удаленный/офисный/гибридный формат работы.