Мы - Wildberries, крупнейший маркетплейс России, который создают более 4-х тысяч IT-специалистов. Мы создаем сервисы для себя - это различная автоматизация процессов логистики/складов/ПВЗ и многое другое.
В связи с расширением команды находимся в поиске Data Engineer в Департамент ПВЗ.
Стек технологий: Python/Go, SQL (ClickHouse, PostgreSQL), Kubernetes (K8s), Kafka.
Основные задачи:
- Разработка новых и оптимизация существующих ETL-процессов;
- Разработка и сопровождение сервисов, компонентов и процессов для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных;
- Взаимодействие с командами DevOps и DBA по настройке окружений, деплою и работе с инфраструктурой;
- Реализация процессов CI/CD и мониторинга разработанных процессов;
- Требования Продвинутый уровень владения Python и SQL;
- Умение разрабатывать production-ready сервисы для деплоя в Kubernetes;
- Навыки работы с Kafka и понимание её внутреннего устройства;
- Опыт применения концепций непрерывной интеграции и доставки (CI/CD);
- Опыт построения пайплайнов для потоковой и пакетной выгрузки/обработки данных;
- Опыт оптимизации запросов и проектирования схем данных.
Будет плюсом:
- Знание Go;
- Опыт работы с Apache Airflow;
- Понимание основ DataOps и опыт внедрения CI/CD для областей данных;
- Опыт работы с PostgreSQL, ClickHouse;
- Опыт проектирования высоконагруженных приложений;
- Знание архитектуры и принципов построения хранилищ данных.
Условия:
- Гибридный формат работы (2-3 раза в неделю на м. Тульская);
- Использование современного технологического стека;
- Оформление по ТК РФ;
- Максимум возможностей для профессиональной самореализации;
- Разные бонусы компании: партнерские программы по обучению и фитнесу, бесплатное корпоративное питание для сотрудников в офисе.