Несмотря на впечатляющие результаты, генеративный ИИ не обладает целостным пониманием мира
Большие языковые модели способны делать впечатляющие вещи, например, писать стихи или генерировать жизнеспособные компьютерные программы, даже несмотря на то, что эти модели обучены предсказывать слова, которые идут следующими в тексте. Такие удивительные возможности могут создать впечатление, что модели неявно изучают некие общие истины о мире. Но это не обязательно так, согласно новому исследованию. Исследователи обнаружили, что популярный тип генеративной модели ИИ может предоставлять пошаговые инструкции по вождению в Нью-Йорке с почти идеальной точностью — без формирования точной внутренней карты города. Несмотря на сверхъестественную способность модели эффективно ориентироваться, когда исследователи закрыли некоторые улицы и добавили объезды, ее эффективность резко упала. Копнув глубже, исследователи обнаружили, что карты Нью-Йорка, неявно сгенерированные моделью, содержали множество несуществующих улиц, изгибающихся между сеткой и соединяющих далекие перекрестки. Это может иметь серьезные последствия для моделей генеративного ИИ, используемых в реальном мире, поскольку модель, которая, как кажется, хорошо работает в одном контексте, может выйти из строя, если задача или среда немного изменятся. «Одна надежда заключается в том, что, поскольку LLM могут делать все эти удивительные вещи с помощью языка, возможно, мы могли бы использовать эти же инструменты и в других областях науки. Но вопрос о том, изучают ли LLM согласованные модели мира, очень важен, если мы хотим испо...