Домклик: RAG-модель классифицирует обращения чат-бота
Что внедрили
Дообученная языковая модель с RAG классифицирует входящие обращения по интентам и направляет их в соответствующие сценарии чат-бота. Модель развернули в production на 50% трафика для канареечного A/B-теста.
Результат
После недели работы общая метрика автоматизации не снизилась; небольшой рост по отдельным интентам не был статистически значимым. При этом модель стала чаще выбирать интент, но реже определяла его правильно.
Результат относится к канареечному тесту на 50% трафика. Рост автоматизации по отдельным интентам не был статистически значимым, а баланс precision и recall изменился.
Задачи
классификация клиентских обращений; определение интентов; маршрутизация обращений в сценарии чат-бота; RAG; A/B-тестирование
Параметры внедрения
- Компания
- Домклик
- Отрасль
- Строительство и недвижимость
- Процессы
- Обслуживание клиентов
- Продукт
- RAG-модель интент-классификации Домклик
- Сроки
- Не указаны
- Стоимость
- Не раскрыта