VK

Data Engineer

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • От 1 года до 3 лет
  • SQL
  • Python
  • ETL
  • Apache Airflow
Учи.ру — крупнейшая российская образовательная онлайн-платформа с аудиторией более 20 млн пользователей. С нами дети изучают школьные предметы, готовятся к ВПР и ОГЭ, участвуют в олимпиадах и развивают гибкие навыки. Также это одноимённая группа компаний в составе VK. Команда развивает и сапортит DWH, состоящий из разнообразного стека для большого количества пользователей (аналитики, дата-инженеры, продакты).
Задачи
  • Участие в проектах по автоматизации сбора и анализа данных из различных источников
  • Обработка и парсинг сырых данных
  • Обеспечение процесса ETL/ELT
  • Написание сервисов для работы с внешними источниками данных
  • Сопровождение хранилища данных
  • Администрирование сервера и мониторинг нагрузки
Требования
  • Уверенное знание SQL
  • Знание Python
  • Опыт работы с Postgres
  • Опыт в проектировании и реализации хранилищ данных
  • Опыт разработки ETL-процессов на Python — предпочтительно Airflow
  • Опыт работы с Apache Spark — предпочтительно в связке с AWS S3
  • Навык работы с контейнерами Docker
  • Навык работы в терминале Linux, Git
Будет плюсом
  • Опыт работы с ClickHouse или другими колоночными СУБД
  • Опыт работы с брокерами сообщений и очередями — Kafka/RabbitMQ/Redis
  • CI/CD
  • Инструменты автоматизации инфраструктуры и приложений — Ansible/Terraform
  • Мониторинг и алертинг — Grafana/Prometheus/Kibana
  • Kubernetes
  • Опыт работы с BI-системами (Tableau, Qlik, MS PowerBI)
Условия
  • Востребованный OpenSource-стек, возможность быстрого масштабирования
  • Только облако, никакого железа, есть кластера Kubernetes, Spark, Airflow, ClickHouse и прочие интересные штуки из мира бигдаты
  • Официальное трудоустройство
  • Гибридный или удалённый формат работы
  • Гибкое начало рабочего дня
  • Материальная помощь в случае важных событий в жизни
  • Доплаты к больничному листу
  • ДМС после испытательного срока (включая стоматологию, плановую госпитализацию, полный чекап раз в год)
  • Три дополнительных выходных на непредвиденные случаи
  • Скидки на продукты компании (Учи.ру, Учи.Дома, Тетрика, ЯКласс)
  • Компенсация спорта
  • Компенсация стоимости психологических консультаций
  • Преимущества аккредитованных IT-компаний
  • Обучение за счёт компании
  • Доступ к корпоративным онлайн-библиотекам