Раздел Технологии выходит при поддержке
Самые современные модели искусственного интеллекта решили лишь 2% сложных математических задач, разработанных ведущими математиками мира.
Исследовательский институт Epoch AI представил новый набор тестов FrontierMath, который требует докторского уровня математических знаний. К разработке привлекли профессоров математики, в частности лауреатов Филдсовской премии
Филдсовская премия (Fields Medal) — самая престижная международная награда в математике, которую вручают раз в четыре года математикам в возрасте до 40 лет за выдающиеся достижения. Премию часто называют «математическим Нобелем».. На решение таких задач у математиков-докторов может уходить от нескольких часов до дней.
Если в предыдущих тестах MMLU
MMLU (Measuring Massive Multitask Language Understanding) — это стандартный набор тестов для оценки возможностей моделей искусственного интеллекта. Тесты охватывают более 57 предметных областей, включая математику, физику, историю, право, медицину и другие науки. Их используют для сравнения различных моделей ИИ и оценки их способности понимать и применять знания в различных сферах. модели ИИ успешно решали 98% математических задач школьного и университетского уровня, то с новыми задачами ситуация кардинально иная.
«Эти задачи чрезвычайно сложные. Сейчас их можно решить только с участием специалиста в этой области или с помощью аспиранта в смежной сфере в сочетании с современным ИИ и другими алгебраическими инструментами», — отметил лауреат Филдсовской премии 2006 года Теренс Тао.
В исследовании протестировали шесть ведущих моделей ИИ. Gemini 1.5 Pro (002) от Google и Claude 3.5 Sonnet от Anthropic показали лучший результат — 2% правильных ответов. Модели o1-preview, o1-mini и GPT-4o от OpenAI справились с 1% задач, а Grok-2 Beta от xAI не смогла решить ни одной задачи.
FrontierMath охватывает различные математические области — от теории чисел до алгебраической геометрии. Все тестовые задания доступны на сайте Epoch AI. Разработчики создали уникальные задачи, которых нет в учебных данных моделей ИИ.
Исследователи отмечают, что даже когда модель давала правильный ответ, это не всегда свидетельствовало о правильности рассуждений — иногда результат можно было получить через простые симуляции без глубокого математического понимания.
СпецпроектыЯк вибрати супутникову автосигналізацію на авто? Поради, нюанси та посилання на системиOukitel випускає смартфон C58 Pro: камера 50 МП, батарея 5150 мАг і ціна $99,99 на честь Дня подяки
Люди не отличают стихи ChatGPT от поэзии Шекспира и Байрона (исследование)
Источник: Livescience
Раздел Технологии выходит при поддержке
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.