ETL разработчик
Стрим - Жизненный цикл Клиента
Вместе с нами ты будешь заниматься:
- Разрабатывать типовые потоки загрузки и преобразования данных в IPC и IDQ;
- Сопровождать и развивать БД Arenadata DB;
- Мониторить корректность сборки витрин данных;
- Настраивать нотификации из БД по подготовленным сценариям;
- Оптимизировать SQL запросы;
- Писать процедуры на языке PGPLSQL;
- Взаимодействовать с другими участниками команды по выводу доработок.
Основные требования:
- Опыт работы разработчиком на проектах формирования/доработки хранилищ/витрин данных от 3 месяцев обязателен;
- Обязательный опыт разработки ETL-процессов с использованием инструментов Informatica PC/DQ или аналогичного;
- Отличное знание SQL (join, оконные функции, регулярные выражения, оптимизация скриптов);
- Понимание архитектуры БД (Greenplum/Arenadata DB/PostgreSQL).
Будет плюсом:
- Знание Python;
- Понимание Kafka;
- Написание технической документации;
- Настройка интеграции с источниками данных;
- Анализ производительности и оптимизация разрабатываемых процессов, потоков данных, запросов.
Применяемые технологии:
-
PL/SQL, SQL
-
Informatica Power Center
-
Informatica Data Quality
-
Kafka Tool
-
Hadoop (Impala, Hive)
-
PostgreSQL
-
Arenadata DB
-
Greenplum