Эксперт по разработке рекомендательных систем на базе LLM для офлайн-компаний

Описание проекта:
Мы ищем опытного специалиста, который самостоятельно сможет реализовать проект по разработке рекомендательной системы на базе больших языковых моделей (LLM) для офлайн-компаний, работающих в сфере услуг. Задача заключается в создании высокоэффективной рекомендательной системы, которая будет анализировать данные о клиентах и предоставлять персонализированные рекомендации по услугам на основе их предпочтений и истории взаимодействий.

Что нужно будет сделать:

Сбор и подготовка данных:

• Интеграция с системами учета клиентов и внутренними базами данных офлайн-компаний.

• Сбор и нормализация данных (включая информацию о клиентах, их предпочтениях, истории взаимодействий).

• Обогащение данных с использованием внешних источников (например, отраслевых стандартов и рекомендаций).

Разработка и настройка моделей LLM:

• Выбор и адаптация подходящей модели LLM для обработки данных и генерации рекомендаций.

• Настройка и тонкая настройка моделей LLM с использованием Prompt Tuning и Parameter-Efficient Fine-Tuning (PEFT).

• Реализация методов Personalized Gradient Alignment Method (PerGAM) для адаптации моделей к персонализированным данным пользователей.

Интеграция с другими системами:

• Разработка и интеграция API для взаимодействия с внешними системами учета клиентов (CRM, системы учета услуг и т.д.).

• Создание модуля для извлечения и обработки данных в реальном времени.

Решение проблемы холодного старта:

• Разработка решений для работы с новыми клиентами, у которых нет истории взаимодействий (использование few-shot learning).

Генерация рекомендаций и объяснений:

• Разработка алгоритмов генерации персонализированных рекомендаций на основе LLM.

• Внедрение модуля для создания объяснений рекомендаций для пользователей, с объяснением причин выбора конкретных услуг.

Тестирование и валидация:

• Проведение тестирования системы с реальными данными и в условиях ограниченных вычислительных ресурсов.

• Валидация рекомендаций на основе стандартов и внутренних протоколов компании.

Конфиденциальность и безопасность данных:

• Реализация федеративного обучения для защиты персональных данных.

• Внедрение дифференциальной приватности для предотвращения утечек данных.

Требования:

• Опыт реализации проектов в области рекомендательных систем с использованием LLM.

• Уверенные знания в области машинного обучения и NLP.

• Опыт работы с LLM-моделями (например, GPT-4, Llama, Med-PaLM) и навыки их адаптации под специфические задачи.

• Знания и опыт работы с методами персонализации, включая PerGAM, Prompt Tuning, и Retrieval-Augmented Generation (RAG).

• Опыт интеграции с CRM-системами, API и внешними базами данных.

• Умение работать с федеративным обучением и дифференциальной приватностью для защиты данных.

• Опыт работы с решениями для холодного старта (например, few-shot learning).

• Способность самостоятельно разрабатывать и реализовывать проект от начала до конца, с полной автономией в принятии решений.

• Умение проводить тестирование системы и устранять технические проблемы.

Что мы ожидаем:

• Четкое понимание архитектуры рекомендательных систем и их работы в реальных условиях.

• Умение предоставлять решения для работы с различными типами данных и создания эффективных алгоритмов рекомендаций.

• Готовность работать с проектами, где сроки и результат важнее, чем процесс (оплата за выполненную работу).

• Понимание, что вы будете работать автономно и должны сами решать все задачи и трудности на пути реализации проекта.

Условия:

• Оплата: по завершению проекта, только за результат. Оплата будет производиться после тестирования системы с реальными данными и подтверждения её работоспособности.

• Работа на удаленке: полностью дистанционная работа, управление проектом на вашей ответственности.

• Требования к срокам: проект должен быть завершен в оговоренные сроки.

Как откликнуться:
Если вы уверены, что обладаете необходимым опытом и готовы к самостоятельной работе над проектом, отправьте с откликом сопроводительное письмо с примерами реализованных проектов в области машинного обучения, рекомендательных систем и NLP. Укажите конкретные кейсы, в которых вы использовали LLM, PerGAM, RAG, а также подробно опишите ваш вклад в проект и результат, который вы достигли.

Если вы не уверены в своих силах или не обладаете необходимым опытом, пожалуйста, не откликайтесь на вакансию, так как проект требует профессионала с подтверждённым опытом и уверенностью в реализации.

Мы ждём вас!