Крупные языковые модели столкнулись с серьёзными ограничениями в областях, требующих понимания законов физики. От робототехники до автономного вождения и промышленного производства — везде выявляются одни и те же проблемы. Это обстоятельство привело к перераспределению инвестиций в пользу так называемых мировых моделей. Недавно компания AMI Labs привлекла $1,03 млрд на этапе seed-раунда, а чуть ранее World Labs получила финансирование в размере $1 млрд.
Фундаментальная проблема заключается в том, что языковые модели отлично работают с абстрактными знаниями через предсказание следующего токена, но они принципиально лишены способности понимать физическую причинно-следственную связь. Иными словами, такие системы не могут надёжно предсказать реальные физические последствия действий в реальном мире.
Это ограничение становится всё более очевидным по мере того, как индустрия пытается вывести искусственный интеллект за пределы веб-браузеров и внедрить его в физические пространства. Известный учёный Ричард Сатон, лауреат премии Тьюринга, выступил в подкасте у Дварккеша Пателя с критикой существующего подхода. По его мнению, языковые модели просто имитируют то, что говорят люди, но не моделируют сам мир, что ограничивает их способность учиться на собственном опыте и адаптироваться к изменениям в окружающей действительности.
Именно поэтому модели, основанные на языковых моделях, включая видео-языковые модели, часто демонстрируют хрупкое поведение и дают сбой при малейших изменениях входных данных. Руководитель Google DeepMind Демис Хассабис поддержал эту позицию в отдельном интервью, охарактеризовав современный ИИ как систему с «рваным интеллектом». Такие модели способны решать сложные задачи математических олимпиад, но терпят поражение при решении элементарных физических задач, поскольку им недостаёт критически важных знаний о динамике реального мира.
Для преодоления этих проблем исследователи переориентируют свои усилия на разработку новых подходов, которые позволили бы ИИ-системам лучше ориентироваться в физической реальности и учитывать её закономерности при принятии решений.
Источник: https://venturebeat.com/technology/three-ways-ai-is-learning-to-understand-the-physical-world