Чем предстоит заниматься:
- Изучение сырых данных, как на источнике, так и в Storage
- Тесное взаимодействие с командами Data Science и ML
- Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
- Проектирование и построение витрин данных в ClickHouse
- Разработка и модификация ETL/ELT-процессов для Data Mart
- Проведение код-ревью
Вам потребуется:
- Опыт работы от 3 лет (на аналогичной позиции или схожей)
-
Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop
-
Уверенное владение Python (включая PySpark)
-
Продвинутый опыт работы со PySpark (batch) с большими объемами данных
-
Опыт проектирования таблиц в ClickHouse
-
Опыт опыт работы с ClickHouse
-
Отличное знание SQL и опыт оптимизации под большие объёмы данных
-
Разработка, оптимизация и масштабирование ETL/ELT-процессов
-
Разработка и поддержка витрин данных для аналитики и бизнес-отчетности
- Взаимодействие с аналитиками, специалистами Data Science и ML
- Понимание принципов Data Lake / Data Lakehouse
Будет плюсом:
- Опыт работы с Hive
- Опыт работы Apache Airflow
- Понимание принципов MLOps
- Опыт работы с Kafka
- Опыт работы со Spark ( streaming)
- Понимание принципов Lakehouse
- Опыт работы с кластером ClickHouse
- Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
- Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling
Мы предлагаем:
- Профессиональное развитие в крупной MedTech компании
- Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
- Удаленный/ гибридный формат работы
- Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
- + 3 дня оплачиваемых выходных
- Подарок на День рождения и для детей к Новому году и Дню знаний
- Внутреннее и внешнее обучение, семинары, тренинги
- Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
- Вознаграждение за рекомендацию друзей в команду ИНВИТРО
Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.