RDP - ведущий российский производитель сетевых решений.
Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.
Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.
Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика.
Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др.
Чем предстоит заниматься:
- Реализация ETL/ELT-процессов по декомпозиции;
- Разработка Spark-трансформаций (batch);
- Разработка SQL-трансформаций и витрин;
- Поддержка DAG'ов в Airflow;
- Поддержка legacy пайплайнов;
- Участие в миграции под руководством Senior / Ведущего инженера данных;
- Участие в устранении инцидентов;
Требования:
- от 2 лет опыта в Data Engineering;
- Уверенный опыт работы со Spark (batch);
- Опыт работы с Git;
- Отличное знание SQL (join'ы, агрегации, оконные функции), написание SQL-трансформаций;
- Уверенное владение Python;
- Понимание основ Data Lake / DWH;
Опыт разработки ETL/ELT-процессов; - Опыт разработки витрин данных;
- Поддержка и развитие DAG'ов (Airflow или аналогов).
Будет плюсом:
- Опыт работы с Iceberg / Delta Lake;
- Опыт работы с Trino / Presto;
- Опыт работы с Kafka;
- Опыт работы с ClickHouse;
- Опыт работы с Hadoop / Hive;
- Понимание streaming-обработки;
- Понимание моделей данных (Star/Snowflake, Data Vault);
- Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI);
- Понимание принципов MLOps.
Условия:
- Работа в аккредитованной IT компании;
- Трудоустройство в соответствии с ТК РФ;
- Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
- График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
- Возможность работать удаленно в рамках РФ;
- ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка;
- Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).