Инженер качества данных /Data Quality Engineer, DQ

IEK GROUP – один из ведущих производителей на рынке электротехнического оборудования. Мы разрабатывает и производим инновационные решения для энергетики, промышленности и инфраструктуры. Сейчас мы расширяем команду и ищем Инженера качества данных.

Вам предстоит работать в отделе Управления данными офиса Данных компании IEK. Отдел - 9 человек с прямым подчинением CDO.

2 daily в неделю по 30 минут + полчаса на работу с тасктрекером.

Удаленка, любые часовые пояса.

Ваша главная задача — гарантировать, что данные, поступающие из различных систем-источников (CRM, ERP и др.) в хранилище, остаются точными, полными и пригодными для принятия стратегических решений.

Вы будете выстраивать процессы кросс-проверок, профилировать сырые данные и внедрять стандарты качества, которые помогут бизнесу доверять каждой цифре в отчетах.

От кандидата ожидаем, что есть релевантный опыт в аналогичных проектах.

Чем предстоит заниматься:

• Проектирование и внедрение DQ-фреймворка: разработка стратегии тестирования данных и внедрение инструментов автоматизированной проверки;
• Контроль консистентности: написание тестов для проверки качества данных в DWH и на этапах ETL/ELT процессов;
• Автоматизация проверок: внедрение мониторинга данных от журналов логов до совместных решений с отделом DS;
• Автоматизация сбора метаданных: настройка и поддержка инжекторов (ingestion workflows);
• Data Lineage: Настройка автоматического отслеживания путей движения данных (lineage);
• Разработка метрик качества;
• Data Governance: Внедрение и контроль заполнения глоссариев, тегов и описаний владельцами данных (Data Owners).

Наши ожидания:

• Опыт работы в роли Data Quality Developer, Data Engineer или Data Quality Analyst с сильным бэкграундом в разработке;
• Опыт построения систем качества данных с нуля: разработка и внедрение автоматизированных фреймворков проверки данных в пайплайны обработки;
• Успешное участие в миграции данных: опыт написания скриптов валидации на входе/выходе при переносе данных между системами (ETL/ELT/EL);
• Опыт профилирования данных с использованием Python (pandas, pyspark) и сложных SQL-запросов в DWH (ClickHouse, Greenplum).

Hard Skills:

• SQL(Advanced): написание сложных аналитических запросов, понимание планов выполнения, опыт работы с оконными функциями;
• Python: уверенное владение для написания скриптов автоматизации и работы с библиотеками (Pandas, Pytest и т.п.);
• Опыт работы на проектах DWH / Data Catalog СУБД: SQL SERVER/PostgreSQL Плюсом: Airflow/OpenMetaData/GIT/VS/работа с совместными репозиториями;
• Опыт применения ИИ в рабочих задачах.

Soft skills:

• Инженерный подход: склонность автоматизировать рутинные проверки, писать переиспользуемый код и документировать логику валидации;
• Скептицизм и критическое мышление: «Доверяй, но проверяй»;
• Готовность аргументированно доказывать необходимость исправления ошибок через код и метрики;
• Коммуникабельность: умение доносить до владельцев данных и разработчиков требования к чистоте данных, не ограничиваясь «закрытием инцидента»;
• Стрессоустойчивость: способность быстро локализовать проблему в данных, читая код трансформаций и логи пайплайнов;
• Документирование: педантичность в ведении документации (Data Catalog, Data Lineage, реестр инцидентов).

Мы предлагаем

• Удаленный график работы;
• Достойный уровень дохода (зависит от профессиональных компетенций);
• Расширенный социальный пакет: ДМС, дополнительные отпускные дни, оплата больничного листа, материальная помощь в критических ситуациях, бесплатные оздоровительные/спортивные мероприятия;
• Правительственные льготы – мы аккредитованная IT-компания;
• Комфортная, доброжелательная рабочая атмосфера;
• Корпоративные традиции и праздники, коллективные мотивационные программы.