СБЕР

Аналитик по качеству рекомендаций агентных систем

Не указана
  • Москва
  • От 3 до 6 лет

Команда отвечает за повышение качества персонализированных рекомендаций для развития корпоративных клиентов. Ищем эксперта, умеющего выявлять недостатки в ответах агентов, видеть закономерности и переводить бизнес-спефифику в четкие правила работы. Важны аналитика качества и бизнес-понимание, техническая база (LLM/Python) — плюс.

Обязанности

  • качество и разбор кейсов. Выявлять дефекты ответов (логика, арифметика, сопоставимость периодов, структурные ошибки JSON, неверный выбор инструмента), группировать их в паттерны причин, формировать гипотезы улучшений.
  • правила и стандарты. Определять формат межагентных сообщений, политику «когда считаем в модели/через инструмент/в Python», описывать «как выглядит хороший ответ» для разных зон внимания и отраслей, формулировать критерии приёмки.
  • эксперименты. Планировать и проводить эксперименты «до/после» (промпты, параметры, инструменты), фиксировать эффект по качеству, стоимости и задержке.
  • взаимодействие. Работать в связке с Python-разработчиками и промт-инженерами: постановка задач, проверка результатов, упаковка решений «в пакет на внедрение».

Требования

  • опыт анализа данных (Middle+): формулировка гипотез, подбор метрик, построение расчетов, сравнение периодов, фиксация выводов
  • знание бизнес-аналитики: финансы, структура затрат, экономика продукта, цепочка создания стоимости
  • Python (Jupyter, pandas, numpy, scipy, scikit-learn, matplotlib/plotly)
  • базовое понимание LLM: промпты, JSON/schema, function calling, параметры инференса

Будет плюсом:

  • опыт с GigaChat SDK, LangGraph, LangChain, LlamaIndex
  • навыки работы с pydantic, jsonschema, jinja2, httpx/aiohttp, asyncio
  • знание инструментов RAG, KAG, MCP; опыт реализации проектов с заметными улучшениями.

Условия

  • комфортный современный офис рядом с м. Кутузовская
  • корпоративный спортзал и зоны отдыха
  • программа адаптации и помощь руководителя на старте
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • ипотека выгоднее до 4% для каждого сотрудника
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера