Вместе с нами тебе предстоит:
- Выполнение функциональных обязанностей в рамках программы по созданию целевой платформы данных на базе стека технологий от Arenadata; а также Postgresql, Hadoop, Airflow, Nginx, WildFly;
- Взаимодействие с техническими-владельцами систем источников с целью уточнения семантики данных, особенностей бизнес-процессов и используемых объектов;
- Разработка стандартов загрузки, хранения и доступа к данным в Greenplum, архитектурный надзор за реализацией конвейера Данных;
- Взаимодействие с командами платформы данных, разрабатывающими конвейер Данных, разработчиками Единой Модели детального слоя, озера данных и Витрин Данных;
- Согласование архитектуры с подразделениями информационной безопасности, корпоративной архитектуры и поддержки;
- Выявление рисков и недостатков в существующей архитектуре данных;
- Ведение репозитория архитектурных артефактов и другой архитектурной документации;
- Проектирование способов интеграции Платформы данных с внешними системами;
- Участие в процессах планирования работ, определения ресурсов и оценки трудозатрат, рисков проекта;
- Участие в тестировании и в приемо-сдаточных испытаниях разработанного функционала.
Какие знания и навыки для нас важны:
- Высшее образование;
- Опыт разработки архитектуры ETL от 2-х лет, для высоконагруженных хранилищ данных;
- Глубокие знания типовых трансформаций данных в ETL/ELT процессах, подходов к версионированию данных в хранилищах, реализации регламентной загрузки данных с большим инкрементом;
- Опыт разработки и оптимизации ETL процессов в детальный слой хранилища Банка или Корпоративное Хранилище Данных крупного предприятия финансовой сферы;
- Наличие опыта создания сложных инфраструктурных решений, проектирования решений, в частности опыт проектирования API, схем данных, архитектурных артефактов;
- Опыт разработки на одном из следующих ETL инструментов: SAS DI, Informatica PC, ODI как преимущество;
- Опыт работы с одной из СУБД GreenPlum, PostgreSQL, Oracle;
- Опыт проектирования приложений на базе трехзвенной архитектуры;
- Интеграции информационных систем, знание подходов, шаблонов, технологий, инструментов проектирования;
- Построения архитектурных решений с учётом функциональных и нефункциональных требований;
- Опыт разработки/проектирования веб приложений (React+java);
- Работа с PostgreSQL, Spark, Airflow, Kafka, ETL-инструментами, MS Visio, системами управления ИТ архитектурой.