ETL разработчик
Стрим - Жизненный цикл Клиента
Вместе с нами ты будешь заниматься:
-
Разработка типовых потоков в IPC и IDQ;
-
создание Python скриптов для загрузки данных ;
-
загрузка данных их Kafka;
-
сопровождение и развитие БД ArenaData;
-
мониторинг корректности сборки витрин данных;
-
настройка натификации из БД по подготовленным сценариям;
-
оптимизация SQL запросов;
-
написание процедур на языке PGPLSQL;
-
взаимодействие с другими участниками команды по выводу доработок.
Основные требования:
- Опыт работы разработчиком на проектах формирования/доработки хранилищ/витрин данных от 2-х лет;
- разработка ETL-решений с использованием инструментов Informatica PC/DQ или аналогичного;
- анализ производительности и оптимизация разрабатываемых процессов, потоков данных, запросов;
- написание сложных SQL-запросов;
- настройка интеграции с источниками данных;
- активное взаимодействие с командами разработки и системного анализа;
- понимание архитектуры БД (Greenplum/Arenadata DB/PostgreSQL).
Будет плюсом:
- Знание Python;
- знание Airflow;
- написание технической документации.
Применяемые технологии:
-
PL/SQL, SQL
-
Informatica Power Center
-
Informatica Data Quality
-
Kafka Tool
-
Hadoop (Impala, Hive)
-
PostgreSQL
-
Arenadata DB
-
Greenplum