Обязанности:
- Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;
- Нормализация и обогащение событий безопасности;
- Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);
- Подготовка витрин данных под быстрые запросы и аналитику;
- Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;
- Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);
- Участие в разборе инцидентов и оптимизации производительности data платформы.
- Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в produckon среде;
- Уверенный SQL, включая оптимизацию запросов и анализ производительности;
- Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);
- Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);
- Опыт проектирования и оптимизации витрин и схем хранения данных; • Уверенные знания Kubernetes и опыт эксплуатации сервисов в produckon среде;
- Понимание принципов надежности, масштабирования и наблюдаемости data систем.
Будет плюсом:
- Helm, GitOps (ArgoCD / Flux), Terraform;
- Опыт работы со schema evolukon и data contracts;
- Практики data quality (валидации, контроль пропусков и объёмов данных.