SberDevices: Семантический кэш сокращает расход токенов ИИ-справки
Что внедрили
SberDevices встроила семантический кэш на Qdrant в контекстную ИИ-справку для телевизоров.
Результат
Расход токенов снизился на два порядка.
Эффект относится к расходу токенов сервиса.
Задачи
Контекстная справка для пользователей телевизоров; Кэширование ответов; Оптимизация LLM-инференса
Параметры внедрения
- Компания
- SberDevices
- Отрасль
- ИТ и интернет
- Процессы
- Обслуживание клиентов; ИТ и техническая поддержка
- Продукт
- Контекстная ИИ-справка SberDevices
- Сроки
- Не указаны
- Стоимость
- Не раскрыта