В рамках технологического партнерства Банк ВТБ и Центр искусственного интеллекта МГУ разработали специализированные механизмы для мониторинга деятельности виртуальных помощников. Как сообщил советник первого заместителя президента — председателя правления ВТБ Сергей Путятинский во время Kazan Digital Week, новейшая разработка включает два детектора, предназначенных для выявления токсичного контента и предотвращения галлюцинаций в ответах нейросетей.
Первый инструмент, детектор токсичности, фокусируется на анализе входящих запросов от клиентов. Система автоматически сканирует сообщения на предмет нарушения законодательных норм, наличия материалов для взрослых или обсуждения запрещенных тем. В случае обнаружения неэтичного или недопустимого контента программное обеспечение блокирует запрос, не позволяя системе продолжить обработку данных.
Второй модуль направлен на борьбу с галлюцинациями — одной из наиболее критических проблем генеративного искусственного интеллекта, когда языковая модель выдает ложную информацию под видом достоверных фактов. Детектор галлюцинаций анализирует уже готовые ответы цифровых ассистентов, выявляя логические противоречия и несоответствия. Система не только находит ошибки, но и подсвечивает конкретные участки текста, содержащие неточности. Это позволяет сотрудникам ВТБ оперативно принимать решения: отправить сгенерированный ответ на повторную проверку или полностью заблокировать его выдачу пользователю.
