Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Совместная работа с DBA-архитектором на проектах;
- Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
- Разработка трансформации данных ODS-слоя в DDS-слой;
- Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
- Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
- Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
- Разработка DataQuality-тестов на скриптовом ETL (Python, Java или Scala);
- Работа с AirFlow-операторами, разработка DAGs;
- Мониторинг и поиск проблемных мест при эксплуатации ADB (Greenplum)
Требования:
- Понимание различий PostgreSQL & Greenplum;
-
Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-
Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-
Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-
Понимание различий между логическими моделями: звезды, снежинки и DataVault;
-
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark, Scala обязателен.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
У нас быстрое принятие решения: HR интервью - техническое собеседование - оффер
Если тебя заинтересовала наша позиция, то непременно отправляй свой отклик, мы свяжемся с тобой для более детального общения.