Microsoft запускает «Коррекцию» — функцию ИИ, которая может обнаруживать и исправлять галлюцинации ИИ

Функция исправления Microsoft добавляется в систему обнаружения заземленности Azure AI Content Safety.

Галлюцинация ИИ — это когда модель ИИ генерирует неверную или вводящую в заблуждение информацию

Advertisement

Во вторник Microsoft запустила новую функцию искусственного интеллекта (ИИ), которая будет определять и исправлять случаи, когда модель ИИ генерирует неверную информацию. Названная «Исправление», эта функция интегрируется в систему обнаружения заземленности Azure AI Content Safety. Поскольку эта функция доступна только через Azure, она, вероятно, нацелена на корпоративных клиентов технологического гиганта. Компания также работает над другими методами сокращения случаев галлюцинаций ИИ. Примечательно, что функция также может показывать объяснение того, почему сегмент текста был выделен как неверная информация.

Запущена функция Microsoft «Исправления»

В сообщении в блоге технологический гигант из Редмонда подробно описал новую функцию, которая, как утверждается, борется со случаями галлюцинации ИИ, явлением, когда ИИ отвечает на запрос неверной информацией и не распознает ее ложность.

Функция доступна через службы Microsoft Azure. Система безопасности контента ИИ Azure имеет инструмент, получивший название «обнаружение обоснованности». Он определяет, основан ли сгенерированный ответ на реальности или нет. Хотя сам инструмент работает многими различными способами для обнаружения случаев галлюцинаций, функция коррекции работает особым образом.

Для работы исправления пользователи должны быть подключены к базовым документам Azure, которые используются в сценариях резюме документов и вопросов и ответов на основе поиска-дополнения-генерации (RAG). После подключения пользователи могут включить эту функцию. После этого, всякий раз, когда генерируется необоснованное или неправильное предложение, функция будет запускать запрос на исправление.

Проще говоря, базовые документы можно понимать как руководство, которому должна следовать система ИИ при генерации ответа. Это может быть исходный материал для запроса или более крупная база данных.

Затем функция оценит утверждение по базовому документу и, если оно окажется дезинформацией, оно будет отфильтровано. Однако, если содержимое соответствует базовому документу, функция может переписать предложение, чтобы гарантировать, что оно не будет неверно истолковано.

Кроме того, пользователи также смогут включить обоснование при первой настройке возможности. Включение этого побудит функцию ИИ добавить объяснение того, почему она посчитала информацию неверной и нуждающейся в исправлении.

• Microsoft сократит 650 рабочих мест в последнем раунде увольнений в подразделениях Xbox

Представитель компании сообщил The Verge, что функция исправления использует малые языковые модели (SLM) и большие языковые модели (LLM) для согласования выходных данных с базовыми документами. «Важно отметить, что определение обоснованности не решает проблему «точности», а помогает согласовывать результаты генеративного ИИ с документами обоснованности», — цитирует издание слова представителя.