allBanks.com.ua - крупнейший каталог банков
Банки Украины: Все
Киев Харьков Днепропетровск Одесса

Исследователи создали систему, которая находит ошибки в ответах ИИ

03.04.2024 в 03:30

Исследователи из Google DeepMind и Стэнфордского университета представили новую систему автоматизированной оценки SAFE, которая анализирует ответы, предоставленные искусственным интеллектом, и ищет ошибочные.

Проверка ответов чат-ботов с искусственным интеллектом — крайне непростой процесс, который полагается в значительной степени на живых людей — аннотаторов. SAFE, разработанная учеными в области ИИ, не только позволяет легко масштабировать процесс проверки, но и демонстрирует лучшую производительность, говорится в статье исследователей, доступной на arXiv.

В рамках исследования специалисты использовали до тринадцати языковых моделей, охватывающих четыре семейства моделей, включая Gemini, GPT, Claude и PaLM-2. Процесс проверки предусматривал сложную многоэтапную систему рассуждения, в которой оценивали каждый факт, предоставленный ИИ, в контексте результатов поиска.

С помощью этих крупных речевых моделей (LLM) исследователи сформировали набор данных из около 16 тысяч отдельных фактов. Затем каждый факт независимо проверялся на точность с помощью поиска Google. Также проверялась релевантность отдельных фактов по данному запросу. В 72% случаев оценки ответов SAFE совпадали с оценками людей-аннотаторов. В целенаправленном анализе 100 спорных фактов определения SAFE были правильными в 76% случаев.

Посредством такой проверки удалось значительно повысить точность моделей. В частности, GPT-4-Turbo достиг уровня фактической точности в 95%. Эта система также позволяет повышать правдивость и надежность информации, созданной LLM, уменьшая затраты на этот процесс. По словам исследователей, система в 20 раз дешевле аннотаций, созданных людьми.

Источник: ua.news
Похожие новости:
Мы в AllBanks.com.ua ВКонтакте Следить за нами :) AllBanks.com.ua  на Facebook

Курсы НБУ на

  c
0.00 0.00
0.00 0.00
0.00 0.00
Все курсы валют НБУ

Новости RSS Новости

08:00 Group DF и Hyundai построят химический индустриальный парк в Ровно
05:15 Назван самый красивый автомобиль года (фото)
03:15 Subaru обновила «старый» Forester, несмотря на наличие нового поколения
02:15 Apple планирует обновить всю линейку Mac чипами, ориентированными на ИИ
01:30 Названы самые продаваемые смартфоны в мире
01:00 Mazda показала новый большой кроссовер (видео)
23:30 В торговых центрах Украины увеличилась посещаемость из-за возвращения владельца Zara

Главные новости RSS Новости

Microsoft опередила Amazon в рейтинге самых дорогих компаний мира
30.10.2018 в 12:32
IBM покупает производителя облачных сервисов Red Hat за $34 миллиарда
30.10.2018 в 12:32
Нейросеть научилась распознавать письменный обман
30.10.2018 в 12:31
Длительное пребывание в космосе сократило объем нервных клеток в мозге астронавтов
29.10.2018 в 10:48
Nokia намерена сократить годовые расходы на 700 млн евро
29.10.2018 в 10:43

Авторизация