-
Обеспечение стабильной, производительной и безопасной работы Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте.
- Администрирование Trino (Настройка, обновление, мониторинг и тюнинг кластеров)
- Настройка коннекторов (Iceberg, S3)
- Оптимизация производительности запросов (resource groups, query analysis)
- Администрирование Spark (настройка и оптимизация кластеров)
- Понимание взаимодействия Spark с Iceberg и S3
- Работа с S3 (политики доступа, шифрование, версионирование, оптимизация стоимости/производительности)
- Эксплуатация Apache Iceberg (опыт администрирования таблиц в формате Iceberg, настройка и использование Hive Metastore)
- Понимание и применение: compaction, expiration snapshots, time travel, schema evolution
- Оптимизация производительности Iceberg (partitioning, clustering, metadata management)
- Навыки Linux, Bash, Python для автоматизации
- Мониторинг и алертинг Prometheus, Grafana
- Резервное копирование/восстановление кластеров, критических компонентов
- Настройка аутентификации, авторизации для Trino, Spark, Iceberg, Hive Metastore интеграция с Ranger
- Управление политиками доступа и правами доступа через Ranger в S3 и Iceberg
- Разработка и внедрение централизованной ролевой модели для доступа к данным и ресурсам платформы.
Будет плюсом:
- Базовые IaC (Terraform/Ansible)
- Опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)
- Опыт настройки маскирования данных и фильтрации на уровне строк (Row-Level Filtering) в Ranger для Trino, Spark
- Оркестрация (Airflow)
- Опыт администрирования Superset.
Условия:
-
Возможность работать над высоконагруженным продуктом, который используют миллионы пользователей
-
Современный стек технологий и доступ к мощным вычислительным ресурсам
-
Профессиональное развитие: участие в конференциях, курсах и воркшопах
-
Гибкий график работы и возможность удаленной работы
-
Стабильность и уверенность в завтрашнем дне — оформление по ТК РФ с первого дня, нацеленность на долгосрочную совместную работу
-
Бесплатное питание в офисе (шведский стол)
-
Гибкие бизнес-процессы, минимум бюрократии и согласований
-
ДМС со стоматологией после испытательного срока
-
Просторный опенспейс, кофейня, йога в офисе, настольный теннис, много растений.