Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.
ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.
Задачи:
-
Анализ существующих решений и витрин данных.
-
Миграция витрин данных со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow.
-
Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов.
-
Переработка существующих решений на целевом стеке, в отдельных случаях — разработка решений с нуля по шаблонам.
-
Построение и развитие витрин данных, участие в их тестировании и валидации.
-
Наполнение и актуализация технической документации по разработанным решениям.
-
Взаимодействие с командами разработки и аналитики в рамках проработки и внедрения решений.
-
Уверенные знания SQL и Python.
-
Опыт работы с Apache Spark.
-
Практический опыт работы с хранилищами данных на базе Hadoop / S3 / S3-compatible storage.
-
Обязательное знание и опыт работы с Apache Iceberg (таблицы, версии, schema evolution, partitioning).
-
Опыт использования Apache Airflow для оркестрации и управления пайплайнами.
-
Понимание форматов хранения данных, в том числе Parquet.
-
Опыт работы с инструментами командной разработки: Git, CI/CD, трекерами задач и документацией (Jira, Confluence или аналоги).
-
Навыки работы с форматами данных JSON, XML.
-
Опыт системного анализа и тестирования data-решений.
-
Базовое понимание работы реляционных СУБД.
-
Базовые знания Kafka и принципов потоковой передачи данных.
Мы предлагаем:
- Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
- Расширенный полис ДМС со стоматологией, корпоративный психолог;
- Удаленную работу и гибкий график;
- Необходимую технику для комфортной работы;
- Обучение, сертификацию, клуб английского языка;
- Доступ к Корпоративной библиотеке и к Корпоративному университету;
- Внутрикорпоративные профильные коммьюнити;
- Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
- Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
- Корпоративную жизнь: мы много работаем и классно отдыхаем.