Руководитель инфраструктуры дата платформы

Мы создаем дата-платформу нового поколения, которая станет фундаментом для всех бизнес-подразделений группы. Наша текущая дата-платформа, построенная на технологиях Hadoop, GreenPlum, Clickhouse и других, уже демонстрирует высокую отказоустойчивость и производительность. Теперь мы ищем лидера, который поможет нам выйти на новый уровень и создать платформу, способную эффективно справляться с быстрорастущей нагрузкой.

О команде:

Наша команда состоит из более чем 20 специалистов, включая инженеров DevOps, инженеров SRE, администраторов баз данных и архитекторов решений. Мы работаем над созданием дата-платформы, которая будет использовать современные архитектурные подходы, такие как Lakehouse, Data Mesh и Composable для вычислительных движков. Кроме того, мы активно развиваем PaaS-сервисы в нашем частном облаке X5 Salt и используем высокопроизводительную инфраструктуру в отдельном ЦОД.

Кого мы ищем:

Мы ищем опытного и мотивированного руководителя, который сможет возглавить команду по развитию инфраструктуры дата-платформы.

Основные задачи:

• Формирование стратегии: разработать и реализовать стратегию развития программно-аппаратной части дата-платформы.
• Оптимизация конфигурации: определить оптимальную конфигурацию оборудования, операционной системы и окружения.
• Автоматизация: автоматизировать и унифицировать процессы развертывания, обновления и управления инфраструктурой.
• Мониторинг: настроить информативный мониторинг дата-платформы на уровне использования ресурсов оборудования, процессов системного ПО и пользовательских запросов.
• Процессы обслуживания: разработка и внедрение процессов обслуживания и развития дата-платформы, включая решение инцидентов на третьей линии.
• Оптимизация: проводить непрерывную оптимизацию конфигурации системных компонентов платформы на основе данных мониторинга и устраненных инцидентов.
• Исследования: проводить исследования новых технологий (R&D), принимать и обосновывать решения об их использовании в контуре дата-платформы.
• Доработка ядра: дорабатывать ядро с открытым исходным кодом и собирать собственные дистрибутивы.
• Управление командой: управлять командой, ставить KPI, мотивировать, развивать и подбирать сотрудников.
• Взаимодействие: выстраивать эффективное взаимодействие с смежными командами: системной разработки, поддержки, архитектуры данных и базовой инфраструктуры.

Наши требования к кандидату:

• Опыт работы: 7+ лет в области инженерии данных.
• Руководство: 3+ года опыта руководства командой системных инженеров, администраторов и DevOps-инженеров.
• Внедрение: опыт внедрения больших (петабайты) и высоконагруженных (1000+ DAU) федеративных дата-платформ, желательно «с нуля».
• Метрики: Умение выстраивать работу на основе метрик.
• Стек технологий:

Хранение данных: PostgreSQL, GreenPlum, Clickhouse, Hadoop, S3, Apache Iceberg, Kafka. Будет плюсом: MinIO, Redis, KeyDB, Mongo, Tarantool.

Обработка данных: Airflow, Trino, Spark, Apache NiFi. Будет плюсом: Flink, Debezium, Impala.

Оркестрация ресурсов: Kubernetes, Helm.

Управление инфраструктурой: Terraform, Ansible, Puppet.

Мониторинг и ведение журналов: Prometheus, Grafana, ELK, Victoria Metrics.

• Технологический стек: Знание и опыт работы с указанными выше технологиями.
• Личные качества: приверженность здравому смыслу, партнерские отношения с членами команды, умение мотивировать и вдохновлять коллег.