Datanomica

Data Engineer (Senior)

Не указана
  • Москва
  • Полная занятость
  • Полный день
  • Более 6 лет
  • Python
  • SQL
  • Apache Spark
  • RESTful API

Привет!

Мы ООО «Датаномика», решаем проблемы структурирования разнородных данных, которые сложно поддаются анализу, помогаем среднему и малому бизнесу, банкам, ритейлу использовать данные чеков для оценки конъюнктуры спроса и экономических показателей, помогаем банкам повысить качество сервиса финансового планирования и аналитики для клиентов.

О проекте:

Прикладная аналитическая платформа в топовом Банке РФ — это решение,; позволяющее создавать аналитические витрины на Облаке Данных по различным направлениям бизнеса.

Синергия в продуктах и сервисах на основе клиентских путей, каждодневное предвосхищение потребностей клиента и формирование целостного предложения для сегментов от Банка как экосистемы — ключевая задача нашей команды.

Мы занимаемся разработкой нового прикладного фреймворка для команд, занимающихся разработкой витрин данных.

Обязанности:

  • Участвовать в проектировании архитектуры фреймоврка;
  • Разрабатывать новый/дорабатывать текущий функционал и тестировать его;
  • Взаимодействовать с коллегами: как с разработчиками, так и с DevOPS-инженерами;
  • Оптимизировать и масштабировать системы;

Требования:

  • Уверенное знание SQL;
  • Уверенное знание языков scala/java, bash;
  • Опыт работы с базами данных (SQL/NoSQL);
  • Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки;
  • Знание типов медленно меняющихся измерений
  • Знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, HIVE, Oozie);
  • Уверенное знание архитектуры, принципов работы и API инструментов Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox;
  • Понимание основных принципов RESTful API;
  • Хорошее понимание архитектуры микросервисов;
  • Понимание принципов SOLID и умение соблюдать их на практике
  • Опыт написания тестов (unit, integration, acceptance);
  • Опыт работы с git и прочими системами контроля версий;
  • Умение работать в команде и принимать ответственные решения;
  • Готовность обучаться новым технологиям.

Будет плюсом

  • навыки программирование на python
  • опыт работы с ClickHouse
  • Опыт работы с S3 и Kubernetes

Мы предлагаем:

  • Работа в ИТ-аккредитованной компании;
  • Формат работы: гибрид (офис: Москва);
  • Гибкий график работы;
  • Официальная «белая» зарплата;
  • Оформление с первого рабочего дня, полное соблюдение ТК РФ;
  • Интересные, амбициозные задачи с достижимым результатом;
  • Достаточную свободу действий, инструментарий и необходимые ресурсы;
  • Регулярное обучение и профильные конференции за счёт компании, современное оборудование для работы