Приглашаем Data Engineer для участия в разработке, развитии и поддержке платформы DataML внутри самой системы и с внешними системами и источниками данных
Чем предстоит заниматься:
- Разработка ETL/ELT-процессов доставки и подготовки данных для моделей-подсказчиков
- Участие в разработке и принятии архитектурных решений для реализации интеграционных потоков
- Организация хранения и извлечения данных в разных хранилищах данных (Timeseries, SQL, S3)
- Организация мониторинга и алертинга для ETL-процессов
- Разработка эксплуатационной документации для ETL-процессов
- Участие в эксплуатации ETL-процессов и инструментов, поддержка существующих потоков
- Подготовка и преобразование данных по запросам
Требования:
- Навыки работы с Apache NiFi, Airflow, Kafka, Spark, S3(Minio)
- Навыки настройки соединенй, создания дашбордов, алертов в Grafana
- Навыки работы с СУБД PosgreSQL, Clickhouse, GreenPlum, InfluxDB (InfluxQL, Flux)
- Продвинутые навыки работы с SQL (построение витрин, агрегация, оконные функции, CTE)
- Навыки python-разработки в части обработки данных (boto3, pandas, pyarrow)
- Базовые навыки работы с Kubernetes
Будет плюсом:
- Опыт back-end разработки на Python
- Опыт в настройке и использовании DataHub
- Опыт применения Dbt
Условия:
- Оформление по ТК РФ в штат аккредитованной IT - компании
- Конкурентный уровень заработной платы
- Программа заботы о здоровье сотрудников с первого месяца работы (ДМС, корпоративный спорт)
- Для детей предусмотрены: ежегодные Новогодние подарки, ежегодные летние лагеря отдыха
- Доступ к корпоративной OnLine библиотеке
- Обучение в программах Корпоративного университета
- Корпоративные скидки BestBenefits, где собраны лучшие предложения от более 900 брендов товаров и услуг, доступные в разных городах России