Обязанности:
- Настройка чек-листов оценки качества коммуникаций в формат запроса в LLM/РА;
- Тестирование качества выдаваемого результата LLM/РА, исправление промта/сценария для повышения качества результата;
- Сравнение результатов оценки звонков с помощью LLM/РА и ручной оценки;
- Разработка и формирование регулярной отчетности на основе полученных данных.
Требования:
Опыт применения в работе ИИ и LLM инструментов:
- Тестирование написанных промптов на работоспособность и устойчивость к повторной генерации и входным данным;
- Оценивать проблемные ответы LLM и исправлять промпт для их улучшения;
- Опыт составления чек-листов оценки качества коммуникаций;
- Опыт использования речевой аналитики;
- Знание технической терминологии;
- Умение формулировать четкие запросы для получения предсказуемых результатов от моделей, тестирования написанных промптов на работоспособность и устойчивость к повторной генерации и входным данным.