Платон

Основная проблема в том, что организовать регулярный мониторинг силами людей сложно и дорого: люди иногда спят и отдыхают, а из-за большого потока информации очень просто пропустить релевантный запрос.

Для решения проблемы мы разработали внутренний сервис, который мониторит все источники (парсинг), при помощи машинного обучения самостоятельно классифицирует по необходимым параметрам все запросы и предоставляет менеджерам интерфейс для работы с этими данными.

Помимо core-функционала (парсинг и ML-классификация), мы разработали специализированную CRM, которая адаптирована строго под работу с клиентами в формате аутстаффинга.

Один из важнейших элементов — парсинг телеграмм-каналов. Сейчас осуществляется мониторинг более 50 каналов и чатов (как публичных, так и закрытых). Ежедневный объем обрабатываемых сообщений доходит до 500.

Все полученные сообщения моментально заносятся в базу данных и становятся доступны в интерфейсе сервиса.

Наличие ML-классификатора — главная особенность разработанного сервиса.

Мы собрали датасет из нескольких десятков тысяч запросов, произвели его ручную разметку и на основе этих данных обучили разработанную нейросеть самостоятельно классифицировать все запросы по интересующим нас параметрам.

На текущий момент нейросеть умеет:

• определять релевантные и «мусорные» сообщения;
• определять смысл сообщения: это запрос ресурсов или же предложение ресурсов;
• выделять технологический стек, о котором идет речь в сообщении;
• определять необходимый уровень разработчика: junior, middle, senior.

Благодаря этой автоматизации в базу сервиса попадают сразу классифицированные сообщения.

Менеджеры на основе их прав доступа могут видеть те или иные сообщения.

Лента предоставляет возможность фильтрации сообщений, а также работы с параметрами запросов.

Каждый менеджер может настроить для себя мониторинг запросов по определенным параметрам (например: «запросы на Middle React разработчиков»). Если в процессе парсинга будет найден такой запрос — менеджер мгновенно получит уведомления в телеграм и на почту.

CRM разработана с учетом особенностей взаимодействия при работе в формате аутстаффинга. Удобное представление данных по текущим запросам, назначенным интервью и актуальному пулу свободных разработчиков помогают менеджерам держать руку на пульсе и ничего не забывать.

Применяется микросервисная архитектура.

Для реализации микросервиса парсинга и ML-классификатора используется Python.

Основной бэкенд работает на Laravel, база данных — PostgreSQL, отдельные микросервисы на Node.

Основной фронтенд реализован на React + TypeScript.

Ежедневно сервис обрабатывает и классифицирует 200+ запросов из 50+ каналов и чатов.

Точность автоматической классификации на текущий момент более 80% (8 из 10 запросов классифицируются корректно).

У менеджеров больше нет ежедневных трудозатрат на мониторинг каналов с запросами.

Модуль аналитики показывает динамику изменения спроса на рынке в разрезе технологий, спроса и предложения, что позволяет принимать управленческие решения на основе репрезентативных данных.

Благодаря мониторингу менеджеры получают уведомления и реагируют на релевантные запросы в течение часа с момента их появления.

• Лучший сервис для автоматизации работы (Tagline Awards 2022) — бронза
• Лучшая технология/платформа (Tagline Awards 2022) — бронза
• Лучший проект для digital-индустрии в новых условиях (Tagline Awards 2022) — бронза