Обязанности:
-
Опыт от 5 лет в проектировании, разработке и оптимизации корпоративных хранилищ данных (DWH), Data Lakes или Data Lakehouses. Полное понимание жизненного цикла данных: от приема (Ingestion) до сервиса (Serving).
-
Архитектурное мышление и экспертиза:
▪️ Опыт выбора и обоснования архитектурных подходов (Кимболл, Инмон, Data
Vault 2.0, Anchor Modeling) для решения бизнес-задач.
▪️ Способность проектировать масштабируемые, отказоустойчивые и легко
поддерживаемые решения с учетом объема, скорости и разнообразия данных
(Volume, Velocity, Variety).
▪️ Опыт проектирования и оптимизации витрин данных (Data Marts) для
конкретных бизнес-направлений (финансы, логистика). -
Экспертный уровень SQL и оптимизации:
▪️ Навыки написания и глубокой оптимизации сложнейших SQL-запросов,
работающих с терабайтами данных.
▪️ Опыт настройки партиционирования, индексов, материализованных
представлений, распределения данных в MPP-системах.
▪️ Понимание принципов работы оптимизаторов запросов в различных СУБД. -
Опыт управления командой разработки (от 3 человек):
▪️ Формирование технического видения и Roadmap развития DWH.
▪️ Постановка задач, декомпозиция эпиков, контроль выполнения (Code Review,
оценка архитектурных решений).
▪️ Проведение регулярных 1-to-1, наставничество, развитие hard и soft skills
сотрудников (Data Engineers, ETL-разработчиков, аналитиков данных). -
Глубокий опыт интеграции с разнородными источниками:
▪️ Прямая работа с системами-источниками: ERP, CRM, MDM-системы, логфайлы приложений.
▪️ Проектирование стратегий загрузки данных: полное обновление,
инкрементальная загрузка, CDC (Change Data Capture).
▪️ Интеграция через API, шины данных (Kafka, RabbitMQ), файловые обмены. -
Работа с бизнес-заказчиками и аналитиками:
▪️ Умение переводить неструктурированные бизнес-требования (от финансовых
контролеров, логистов) в технические спецификации и архитектурные решения.
▪️ Участие в проектировании метрической модели бизнеса (KPI, агрегаты,
семантика).
▪️ Коммуникация сложных технических концепций нетехнической аудитории. -
Доменный опыт: Руководство проектами по построению DWH/Data Lake для
финансовых (консолидация, управленческий учет, отчетность по МСФО) и/или
логистических (аналитика цепочки поставок, оптимизация запасов, трекинг) процессов.
- Опыт работы с современными облачными DWH-платформами: Snowflake, Google
BigQuery, Amazon Redshift, Azure Synapse Analytics. - Знание принципов DataOps и Data Governance (управление метаданными, каталоги данных, безопасность, lineage).
- Практический опыт с инструментами оркестрации (Apache Airflow, Dagster),
виртуализации данных (Dremio, Denodo) и ETL/ELT-фреймворками (dbt). - Опыт внедрения и настройки систем мониторинга и алертинга для DWH-процессов.
- Знание одного из языков программирования для скриптинга и автоматизации
(Python, Scala). - Навыки управления бюджетом на инфраструктуру и лицензии.