MIT惊人证明：大语言模型就是「世界模型」？吴恩达观点再被证实，LLM竟能理解空间和时间

文章来源：新智元

MIT的两位学者发文力证：大语言模型能够理解世界！他们的工作表明，LLM不仅仅学习了表面的统计数据，还学习了包括空间和时间等基本维度的世界模型。

在大语言模型内部，是否有一个世界模型？

LLM是否具有空间感？并且在多个时空尺度上都是如此？

最近，MIT的几位研究者发现，答案是肯定的！

论文地址：https://arxiv.org/abs/2310.02207

他们发现，在Llama-2-70B竟然能够描绘出研究人员真实世界的文字地图。

在空间表征上，研究者对世界各地数以万计的城市、地区和自然地标的名称运行了Llama-2模型。

他们在最后的token激活时训练了线性探测器，然后发现：Llama-2可以预测每个地方真实纬度和经度。

在时间表征上，研究者对过去3000年名人的名字、1950年以来的歌曲、电影和书籍的名称以及2010年代的《纽约时报》头条新闻运行了模型，并训练了线性探针（linear probe）成功预测到了名人的死亡年份、歌曲电影书籍的发布日期和新闻的出版日期。

总之，一切结论都显示：LLM不仅仅是随机鹦鹉——Llama-2包含世界的详细模型，毫不夸张地说，人类甚至在大语言模型中发现了一个「经度神经元」！

这项工作一推出，立马获得热烈反响。作者在推上转发了论文的概要，不到15个小时阅读量就已超过140万！

网友们纷纷惊呼：这项工作太了不起了！

有人表示：在直觉上，这是合理的。因为大脑正是提炼了我们的物理世界，将其存储在生物网络中。当我们「看到」事物时，它们实际上就是我们的大脑在内部处理的投射。

令人难以置信的是，你们竟然能够对此进行建模！

有人持相同观点，表示或许是我们试图模仿大脑的方式欺骗了造物主。

LLM不是随机鹦鹉

此前，许多人就这样猜想：大语言模型表现出的惊人能力，或许只是因为它学习了大量肤浅的统计数据集合，而并不是因为它是一个包含数据生成过程的连贯模型（也即世界模型）。

2021年，华盛顿大学语言学家Emily M. Bender发表了一篇论文，认为大型语言模型不过是「随机鹦鹉」（stochastic parrots）而已，它们并不理解真实世界，只是统计某个词语出现的概率，然后像鹦鹉一样随机产生看起来合理的字句。

由于神经网络的不可解释性，学术界也弄不清楚语言模型到底是不是随机鹦鹉，各方观点差异分歧极大。

由于缺乏广泛认可的测试，模型是否能「理解世界」也成为了哲学问题，而非科学问题。

然而MIT的研究者发现，LLM在多个尺度上都学习了空间和时间的线性表征，而这些表征对不同的提示变化具有稳健性，并且在不同的环境类型（如城市和地标）中具有统一性。

他们甚至发现，LLM还具有独立的「空间神经元」和「时间神经元」，可以可靠地编码空间和时间坐标。

也就是说，LLM绝不仅仅是学习了表面的统计数据，而是获得了关于空间和时间等基本维度的结构化知识。

总之，大语言模型能够理解世界。

LLM能理解空间和时间

在这篇论文中，研究人员提出了一个问题：LLM是否能通过数据集内容形成世界（以及时间）模型。

研究人员试图通过从LLM中提取真实的世界地图，来回答这个问题。

具体来说，研究人员构建了六个数据集，其中包含跨越多个时空维度的地点或事件名称以及相应的空间或时间坐标：

其中包括了世界范围内的地址，美国国内的地址和纽约市范围内的地址。

另外数据集还包括了不同的时间坐标：

1）历史人物的死亡年份

2）过去 3000 年的历史

3）20 世纪 50 年代以来艺术作品和娱乐节目的发布日期

4）2010年至2020年新闻头条的发布日期