Раздел Технологии выходит при поддержке Favbet Tech
Одним из самых больших недостатков чатботов на основе искусственного интеллекта являются так называемые «галлюцинации», когда ИИ выдумывает недействительную информацию, то есть фактически лжет. Некоторые эксперты говорят, что это одна из интересных особенностей ИИ, и это может быть полезным для генеративныхх моделей, которые создают изображения и видео. Но не для речевых моделей, которые дают ответы на вопросы пользователей, рассчитывающих на точные данные.
Лаборатория Google DeepMind и Стэнфордский университет, похоже нашли обходной путь для решения проблемы. Исследователи разработали систему проверки для больших языковых моделей искусственного интеллекта: Search-Augmented Factuality Evaluator, или SAFE проверяет длинные ответы, созданные чатботами ИИ. Их исследования доступны как препринт на arXiv вместе со всем экспериментальным кодом и наборами данных.
Система анализирует, обрабатывает и оценивает ответы в четыре шага, чтобы проверить их точность и соответствие. Сначала SAFE разбивает ответ на отдельные факты, просматривает их и сравнивает с результатами поиска Google. Система также проверяет релевантность отдельных фактов предоставленному запросу.
Чтобы оценить производительность SAFE, исследователи создали LongFact, набор данных из примерно 16 000 фактов. Затем они испытали систему на 13 крупных языковых моделях из четырех различных семейств (Claude, Gemini, GPT, PaLM-2). В 72% случаев SAFE давала те же результаты, что и проверка людьми. В случаях несогласия с результатами ИИ SAFE была права в 76% случаев.
Исследователи утверждают, что использование SAFE в 20 раз дешевле, чем проверка людьми. Таким образом, решение оказалось экономически жизнеспособным и пригодным к масштабированию. Существующие подходы к оценке соответствия контента, созданного моделью, обычно полагаются на непосредственную человеческую оценку. Несмотря на ценность, этот процесс ограничен субъективностью и изменчивостью человеческого суждения и проблемами масштабируемости применения человеческого труда к большим наборам данных.
Курс QA Manual (Тестування ПЗ мануальне) від Powercode academy. Навчіться знаходити помилки та контролювати якість сайтів та додатків. Записатися на курс
Чат-бот ИИ властей Нью-Йорка дает ложные ответы относительно городских правил и деятельности бизнеса
Источник: Marktechpost
Раздел Технологии выходит при поддержке Favbet Tech
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.
Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!