Senior Automation QA Engineer

Наш клиент - быстрорастущий стартап, создающий инновационные AI-продукты для автоматизации клиентской поддержки, маркетинга и HR-процессов. В основе решений компании - сочетание LLM-технологий, машинного обучения и голосовых интерфейсов, формирующих единый интеллектуальный опыт. Сейчас мы ищем Senior Automation QA Engineer, который сможет выстроить и развивать процессы контроля качества для команды, работающей с голосовыми технологиями.

Обязанности:

• разработка стратегии тестирования и QA-фреймворков для LLM- и voice-продуктов;

• настройка и поддержание инфраструктуры бенчмарков с участием DevOps и Data-разметки;

• формирование прозрачной системы оценки качества генерации и обновлений моделей;

• разработка и автоматизация интеграционных, регрессионных и нагрузочных тестов;

• анализ метрик качества модели, совместно с ML-инженерами;

• участие в построении процессов CI/CD и quality gates;

• ведение внутренней документации и QA-отчётности.

Зона ответственности

• все процессы QA внутри Voice-команды;

• влияние на качество итоговых LLM-инференсов и голосовых сценариев;

• участие в релизах, контроль стабильности после обновлений;

• консультации разработчиков по вопросам качества и тестируемости.

Требования:

• 4+ лет в QA;

• опыт тестирования API;

• опыт построения QA процессов;

• практический опыт в проектах, связанных с ML/AI/LLM Based;

• опыт оценки качества генерации/построения LLM-бенчмарков;

• Python, git, docker;

• опыт написания интеграционных и регрессионных тестов;

• тестирование ML/LLM-систем;

• понимание принципов работы LLM (inference, prompt engineering, токенизация, temperature, top-k/p, stop tokens и др.).

Условия:

• работа в продуктовом AI-стартапе с собственными LLM-технологиями;

• возможность влиять на архитектуру и качество ключевых AI-систем;

• команда инженеров, которые любят эксперименты и быстрые результаты;

• гибкий график и формат работы (релокация в офис на Кипре/удалённо из любой точки мира);

• дополнительные условия обсуждаются индивидуально в зависимости от локации кандидата.