Цели проекта: участие в развитии сбора, обработки, трансформации и представления данных.
Чем предстоит заниматься:
- участием в разработке ETL-процессов;
- разработкой, конфигурацией и интеграцией новых пайплайнов, источников и возможностей ИС «Платформы данных».
Чего мы ждем от тебя:
- опыт работы с Apache Airflow: создание и поддержка пайплайнов ETL, разработка и оптимизация DAG'ов, опыт настройки мониторинга и оркестрации процессов;
- знание системы потоковой обработки Kafka: настройка топиков, понимание архитектуры брокера сообщений, работа с производителями и потребителями, умение масштабировать инфраструктуру и решать проблемы производительности;
- практический опыт разработки распределённых приложений на PySpark: знание основ фреймворков Spark SQL, DataFrame API, использование распределенных вычислений, настройку кластеров Hadoop/YARN, решение проблем оптимизации запросов и повышения эффективности;
- понимание реляционных баз данных: проектирование и администрирование PostgreSQL, MySQL, ClickHouse или аналогичных решений, включая оптимизацию индексов, запросов и транзакций.
- владение системой контроля версий Git: опыт работы с репозиториями, ведение истории изменений, слияния ветвей, разрешение конфликтов, использование CI/CD инструментов.
- навыки анализа больших объемов данных: построение метрик качества данных, проверка целостности и согласованности данных, владение средствами профилирования и очистки данных.
- общее представление о современных инструментах DevOps: знакомство с Docker, Kubernetes, Ansible, Terraform, Jenkins и др., хотя бы базовые знания инфраструктуры облачных платформ AWS/GCP/Azure.
- опыт работы с любой реляционной БД (Oracle, MSSQL, Postgres).