Группа компаний Б1 оказывает консультационные и аудиторские услуги на рынке уже 35 лет. Сейчас Группа компаний Б1 объединяет свыше 4000 специалистов в десяти городах России. В частности, Группа компаний Б1 на постоянной основе сотрудничает с представителями из Китая, Индии, Ближнего Востока и Турции. Сейчас мы ищем разработчика на фриланс.
Чем предстоит заниматься?
- Автоматизацией обработки текстовых данных: разрабатывать и внедрять NLP-решения, использовать предобученные модели (BERT, Sentence-BERT, etc.) для семантического анализа текста
- Парсингом и сбором данных: разрабатывать парсеры для сложных источников (включая защищенные), обходить анти-парсинговые механизмы (капчи, JS-рендеринг, ограничение запросов), чистить, структурировать и загружать данные в нужные форматы (excel, API, БД)
Технологический стек:
- Обязательно
- Python (опыт от 3 лет)
- NLP: transformers, sentence-transformers, spaCy, nltk
- Парсинг: requests, BeautifulSoup, Scrapy, selenium/playwright
- Работа с данными: pandas, numpy, sqlalchemy
- Асинхронность: asyncio, aiohttp
- Желательно
- ML: базовые знания PyTorch / TensorFlow
- API: FastAPI / Flask
- DevOps: Docker, CI/CD
Требования к кандидату:
- Опыт самостоятельной работы, способность разобраться в проблематике задачи, придумать решение и реализовать его
- Опыт коммерческой разработки скриптов для обработки текстовых данных (NLP)
- Умение парсить сложные сайты, обходить блокировки
- Понимание принципов работы предобученных языковых моделей (BERT, etc.)
- Опыт работы с большими объёмами данных (Excel, CSV, БД)
- Умение писать чистый, поддерживаемый код
Будет плюсом:
- Опыт работы с облачными сервисами (AWS/GCP)
- Знание SQL (PostgreSQL, MySQL)