Мы ищем Data Engineer в команду, которая отвечает за разработку и оптимизацию ядра хранилища данных и витрин, проектирование модели данных, диаграмм потоков данных и требований к качеству данных.
Вам предстоит:
— Разрабатывать объекты ядра DWH: ETL-процессы, витрины данных, таблицы фактов и измерений;
— Оптимизировать SQL-запросы;
— Взаимодействовать со смежными подразделениями;
— Проектировать и разрабатывать архитектуру хранилища данных;
— Проектировать и реализовывать модели данных.
Формат работы: удаленка
Вы нам подходите, если:
— Обладаете экспертным уровнем владения SQL, включая сложные оптимизации и анализ планов запросов;
— Имеете опыт ведения документации;
— Имеете опыт работы со Spark;
— Имеете опыт работы с MPP-системами (Greenplum, Vertica, Teradata);
— Обладаете глубоким пониманием архитектуры DWH и практическим опытом применения методологий построения хранилищ данных (Data Vault, «звезда»/«снежинка»);
— Имеете опыт работы с инструментами оркестрации, такими как Airflow, для построения ETL/ELT-пайплайнов;
— Имеете опыт работы с системами контроля версий, в частности Git.
Будет плюсом:
— Опыт работы с dbt;
— Python для разработки ETL/ELT пайплайнов (в дополнение к SQL);
— Опыт работы с S3, Apache Iceberg;
— Проектирование DWH: Опыт проектирования хранилищ данных от концепции до реализации.