Брайт Эйдженси
Data Engineer / Дата Инженер
Не указана
- Python
- Английский язык
- SQL
- PostgreSQL
- Apache Airflow
- Spark
- Apache Kafka
- ETL
- Английский — B1 — Средний
Кадровое агентство Brightman ищет Data Engineer с опытом от 2 лет.
По вакансии предусмотрен переезд в Баку, Азербайджан; релокационный пакет.
Наш клиент — крупная компания, работающая по следующим направлениям: искусственный интеллект, машинное обучение, Data Science, Big Data, государственные цифровые инициативы и платформенные решения.
Обязанности:
- разработка и поддержка ETL/ELT-пайплайнов;
- проведение валидации данных, мониторинга и контроля качества;
- интеграция и обработка структурированных и неструктурированных наборов данных из различных систем;
- предоставление чистых и хорошо структурированных наборов данных командам аналитики, ML/AI и другим подразделениям организации;
- участие в архитектурных обсуждениях и постоянное совершенствование инженерных практик;
- поддержка воспроизводимых рабочих процессов и обеспечение качественной документации.
Требования:
- опыт проектирования, разработки и поддержки надежных дата-пайплайнов от 2 лет;
- степень бакалавра в области компьютерных наук, инженерии;
- уверенные знания SQL и навыки программирования (Python, SQL; PostgreSQL или аналоги);
- понимание концепций приёма, трансформации и оркестрации данных (Airflow или аналоги);
- знакомство с принципами пакетной и потоковой обработки данных (Spark, Kafka или аналогичные фреймворки);
- опыт работы с как минимум одной крупномасштабной платформой данных (облачной или on-premise);
- знание концепций масштабируемого хранения данных, хранилищ данных и больших данных;
- знакомство с практиками контейнеризации и развертывания;
- уверенное владение системами контроля версий и навыками совместной разработки;
- умение работать в команде и эффективно взаимодействовать с коллегами;
- развитые навыки решения проблем и аналитического мышления;
- адаптивность и готовность осваивать новые инструменты и методы;
- уровень английского — В1−В2.