Обязанности:
• Разработка и обучение нейросетевых моделей обработки аудиосигналов (распознавание звуков, шумоподавление, классификация);
• Работа с библиотеками PyTorch / TensorFlow;
• Подготовка и аугментация аудиоданных для обучения;
• Разработка и оптимизация моделей для работы в реальном времени (на edge-устройствах);
• Внедрение моделей в продукты компании (дроны, системы мониторинга и др.);
• Проведение экспериментов, валидации и тестирования.
- Цифровая обработка звуковых сигналов (DSP)
- Аудио-классификация, обнаружение событий в аудио диапозоне (audio event detection).
- Создание датасета. Сбор, разметка и предобработка аудиоданных.
- Понимание основ обработки аудиосигналов:
Преобразование Фурье (FFT), спектрограммы, фильтрация шума, оконные функции. - Обязателен опыт работы с библиотеками:
PANNs (CNN14 / HTSAT)
YAMNet
(AudioMAE / Autoencoder)
GCC-PHAT
CNN/ResNet
Wav2Vec2.0 (если мало данных)
PANNs-finetuned - Желателен опыт работы с мел-спектрограммами