WILDBERRIES

Прикладной администратор Data Platform

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • Более 6 лет
Обязанности:
  • Обеспечение стабильной, производительной и безопасной работы Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте.

Требования:
  • Администрирование Trino (Настройка, обновление, мониторинг и тюнинг кластеров)
  • Настройка коннекторов (Iceberg, S3)
  • Оптимизация производительности запросов (resource groups, query analysis)
  • Администрирование Spark (настройка и оптимизация кластеров)
  • Понимание взаимодействия Spark с Iceberg и S3
  • Работа с S3 (политики доступа, шифрование, версионирование, оптимизация стоимости/производительности)
  • Эксплуатация Apache Iceberg (опыт администрирования таблиц в формате Iceberg, настройка и использование Hive Metastore)
  • Понимание и применение: compaction, expiration snapshots, time travel, schema evolution
  • Оптимизация производительности Iceberg (partitioning, clustering, metadata management)
  • Навыки Linux, Bash, Python для автоматизации
  • Мониторинг и алертинг Prometheus, Grafana
  • Резервное копирование/восстановление кластеров, критических компонентов
  • Настройка аутентификации, авторизации для Trino, Spark, Iceberg, Hive Metastore интеграция с Ranger
  • Управление политиками доступа и правами доступа через Ranger в S3 и Iceberg
  • Разработка и внедрение централизованной ролевой модели для доступа к данным и ресурсам платформы.

Будет плюсом:

  • Базовые IaC (Terraform/Ansible)
  • Опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)
  • Опыт настройки маскирования данных и фильтрации на уровне строк (Row-Level Filtering) в Ranger для Trino, Spark
  • Оркестрация (Airflow)
  • Опыт администрирования Superset.

Условия:
  • Возможность работать над высоконагруженным продуктом, который используют миллионы пользователей

  • Современный стек технологий и доступ к мощным вычислительным ресурсам

  • Профессиональное развитие: участие в конференциях, курсах и воркшопах

  • Гибкий график работы и возможность удаленной работы

  • Стабильность и уверенность в завтрашнем дне — оформление по ТК РФ с первого дня, нацеленность на долгосрочную совместную работу

  • Бесплатное питание в офисе (шведский стол)

  • Гибкие бизнес-процессы, минимум бюрократии и согласований

  • ДМС со стоматологией после испытательного срока

  • Просторный опенспейс, кофейня, йога в офисе, настольный теннис, много растений.