SberDevices - инновационное направление компании, которое создает умные устройства, виртуальные ассистенты и другие продукты в области Speech Recognition, NLP, Computer Vision.
Ищем NLP-разработчика в команду RnD NLP. Мы занимаемся трансформерными моделями для задач обработки естественного языка.
Обязанности
- Имплементация и обучение новых state-of-the-art моделей, как для русского языка, так и мультиязычных
- Распределенное обучение моделей на суперкомпьютере в сотни GPU
- эксперименты по оптимизации моделей, ускорению обучения, новым методам Распределенного обучения и инференса
- Работа над созданием надежного, быстрого и масштабируемого пайплайна для обучения гигантских моделей в десятки миллиардов параметров
Требования
- Хорошее понимание современных архитектур нейронных сетей, Seq2Seq, трансформеры, BERT, GPT, T5 и т.п.
- Опыт работы с Pytorch или TF (мы на Pytorch)
- Умение читать и разбирать статьи о новых архитектурах и подходах
- Понимание принципов обучения, тюнинга, оценки deep learning моделей
- Опыт отладки нейронных сетей и модификации архитектур или создания собственных— уверенное знание Python, Git, Linux shell
Будет плюсом:
- Опыт распределенного обучения на нескольких GPU и серверах
- Опыт работы с CUDA
- Опыт оптимизации или сжатия/дистилляции моделей
- Опыт воспроизведения статей в коде
Условия
- Достойная заработная плата + бонус
- Сильная команда и передовые проекты
- ДМС, с первого рабочего дня
- Удаленный формат работы (по РФ)