Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.
Чем предстоит заниматься:
-
Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;
-
Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse;
-
Поддерживать текущие пайплайны на Greenplum и Hadoop;
-
Осуществлять миграцию с HDFS на S3;
-
Проводить оптимизацию Spark-приложений;
Что мы ожидаем:
-
Опыт работы с Python от 3 лет;
-
Глубокое знание SQL и опыт работы с большими данными;
-
Опыт работы с Apache Airflow
-
Опыт проектирования и разработки ETL/ELT процессов;
-
Опыт работы с колоночными БД (ClickHouse);
-
Знание принципов построения Data Warehouse и Data Lake;
-
Понимание разницы между OLTP/OLAP системами;
-
Уверенная работа c linux и git;
-
Понимание процессов ci/cd;
Что мы предлагаем:
- Оклад + годовой бонус при выполнении KPI
- ДМС с первого месяца работы и страховка для поездок за границу
- Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
- Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта