被困在1930年的大模型:当AI失去现代记忆,智能还剩下什么?

摘要:如果一台大语言模型从来没听说过互联网、手机、二战、芯片、人工智能,甚至不知道现代世界的大部分政治格局,它还算不算聪明?Talkie 这个被“封印”在 1930 年的大模型,把这个问题从哲学设想变成了一场可以真实观察的实验。

被困在1930年的大模型

如果一台大语言模型从来没听说过互联网、手机、二战、登月、晶体管、芯片、冷战、人工智能,甚至不知道今天世界上大多数国家的政治格局,它还算不算“聪明”?

这不是科幻设定,而是最近 AI 圈一个非常漂亮的真实实验。Nick Levine、David Duvenaud 和 Alec Radford 发布了一个名叫 Talkie 的 13B 大语言模型。它最特别的地方不是参数规模,也不是推理速度,而是它被故意“封印”在了 1930 年。它的训练语料来自 1931 年以前的历史英文文本,包括书籍、报纸、期刊、科学论文、专利和判例。换句话说,它像一个在大萧条前夜醒来的读书人,满腹知识,却对后来改变世界的现代技术与政治现实几乎一无所知。(Talkie)

这件事真正有意思的地方,不是“复古”,而是它把一个平时很难看清的问题突然变得非常具体:今天的大模型到底是在理解世界,还是在记忆我们这个时代已经写好的答案?


当“全知”不再理所当然

今天的大模型太像“全知者”了。你问它量子计算、Python 编程、冷战历史、ChatGPT、iPhone、SpaceX、Transformer,它几乎都能答。可问题也正出在这里:这种能力里,到底有多少来自泛化,有多少来自训练数据的记忆?

如果一个模型早就在互联网里见过类似问题、类似答案、类似代码、类似维基百科段落,我们其实很难判断它是在推理,还是在复述。现代大模型的强大,某种意义上也遮住了研究者最想知道的东西:当我们把那些熟悉的现代答案拿走之后,模型还剩下多少真正可以迁移的能力?

Talkie 的价值,正是把这层迷雾撕开。它的知识边界被人为固定在 1930 年 12 月 31 日之前。这个时间点非常巧妙,它在二战之前,在现代电子工业全面爆发之前,在图灵 1936 年那篇奠基性论文之前,也在计算机科学真正成型之前。它知道蒸汽机、电报、无线电、内燃机、早期航空和第一次世界大战,但不知道后来的芯片、互联网、移动通信和人工智能产业。研究者等于给模型做了一次“历史截肢”,把现代记忆整个切掉,只留下语言、常识、数学、类比能力和早期科学知识。

这就让 Talkie 不再只是一个“旧时代聊天模型”,而变成了一个观察智能本质的实验装置。


一个没见过 Python 的模型,能不能学会编程?

Talkie 最值得玩味的一点,是它让许多平时被现代语料“污染”的测试重新变得干净起来。

最典型的例子就是编程。按常识说,一个知识停留在 1930 年的模型不可能懂 Python,因为那时连现代意义上的数字计算机都还没有诞生,更不用说 Stack Overflow、GitHub、LeetCode 这些塑造今天代码模型能力的语料富矿了。

但研究者偏偏就拿它去做了这类测试。官方报告提到,他们用 HumanEval 一类的基准去观察 vintage model 的表现。结果当然不能神化,Talkie 离现代网页模型差得很远,能完成的多是一些短小、结构清晰的任务,或者根据上下文示例做小范围改写。但即便如此,它仍然暴露出一件很有价值的事:在从未见过现代代码世界的前提下,它依然能从少量样例里抓住一些形式规律。

比如,它可以根据一个编码函数写出对应的解码函数。这个过程本质上不是背题,而是在理解“逆函数”这种更抽象的结构关系。它不认识 Python 背后的整个生态,但它能在例子里感知模式,然后把旧知识迁移到新场景。(Talkie)

这件事的震撼感,像是把一位 1930 年的工程师突然带到今天,给他一台笔记本电脑,再给他几个演示样例。你当然不能指望他马上理解芯片工艺和操作系统内核,但你也许会惊讶地发现,他依然能凭借数学、逻辑和机械时代的工程直觉,摸到一点现代技术的边。

Talkie 的意义,恰恰就在这种“摸到边”的瞬间。它让我们第一次更干净地看到,大模型在没有现成答案可抄的时候,到底还剩下多少迁移能力。


被困在 1930 年,也就被困在 1930 年的想象力里

Talkie 最迷人的地方,还不只是它如何处理现代任务,而是它如何想象未来。

The Decoder 的报道里提到,当研究者问它 2026 年的世界会是什么样,Talkie 给出的不是智能手机、互联网平台、AI Agent、电动车和卫星网络,而是一种非常典型的早期现代主义预测:更密集的铁路系统、更繁忙的远洋轮船、扩张的城市生活、更便宜的书籍、更大规模的人口流动。它向前望去的方式,仍然牢牢长在 1930 年的技术谱系上。(The Decoder)

这种感觉非常奇妙。它不是单纯“答错了”,而是在用一个旧时代的大脑认真想象未来。问它第二次世界大战会不会爆发,它倾向于认为未必,因为它仍然相信 1914 到 1918 年的惨烈已经足够让欧洲吸取教训,但同时也能感受到欧洲仍像个火药桶。这种判断既带着时代局限,也带着某种真实的人类味道。

这正像历史本身。每一代人都以为自己站在未来门口,其实只是站在自己时代的边界上。1930 年的人能自然想象铁路、电话、广播、轮船和工业扩张,却很难自然长出对云计算、核威慑、短视频平台或智能手机的直觉。Talkie 不是“不聪明”,而是它的想象力被时代材料塑形了。

这点对今天的 AI 产业是一个很深的提醒:所谓智能,从来不是漂浮在真空中的。模型的性格、知识结构、价值倾向、回答风格,全部都深深扎在它吃进去的数据里。


数据不是燃料,数据就是模型的世界观

1930年代知识体系与现代AI世界的分裂意象

现代大模型看起来很通用,仿佛在代表整个人类知识,但它们其实共享同一种非常具体的数据母体,那就是现代互联网。维基百科、论坛、代码仓库、论文、新闻、社交平台、问答网站,这些共同构成了今天 AI 的潜意识。

我们平时很容易把数据想象成“燃料”,仿佛模型本身才是机器的本质,数据只是推动它运转的能源。但 Talkie 恰恰说明,数据远不只是燃料,数据本身就是模型的世界观。

如果你给模型喂的是 1930 年前的书籍、报纸、专利和科学期刊,它就会长成另一种东西。它的句式会更像旧报纸,它的推理会更像早期工程师和旧百科全书,它的价值判断会继承那个时代的知识结构与表达习惯。反过来,一个由现代互联网养大的模型,也自然会像程序员论坛、社交平台、产品文档、新闻网站和论文摘要的混合体。

换一批数据,真的会长出另一种模型。Talkie 之所以重要,不是因为它怀旧,而是因为它把这个事实暴露得太彻底了。


真正难的,从来不是模型参数,而是“时间隔离”

当然,Talkie 也不是一个完全完美的时间胶囊。研究团队自己就非常坦诚地承认,想把训练语料严格限制在 1930 年之前,远比口头说说复杂得多。

问题首先出在历史文本本身。很多旧书扫描本会混入现代编辑导言、脚注、注释和错误元数据,OCR 也经常把内容弄乱。研究者甚至发现,早期 7B 版本已经知道罗斯福任期和新政,13B 版本也知道一些二战和战后秩序的细节。这说明所谓“时间隔离”不是一个概念动作,而是一项非常艰难的数据工程。(Talkie)

更麻烦的是 OCR 质量。1930 年以前没有数字出版,文本必须从纸面材料扫描、识别、清洗而来。官方报告指出,历史文本上的 OCR 噪声会显著降低学习效率。相同算力下,未经良好处理的 OCR 文本,学习效率可能只有人工转录文本的大约三成;即便经过正则清洗,也只是提升到约七成左右,和高质量原始文本仍有明显差距。(Talkie)

这个细节看似技术,实际上很说明问题。AI 时代表面上比拼的是模型规模和推理能力,底层拼的仍然是数据质量、数据工程和知识组织能力。谁更能控制数据边界、理解数据结构、修复数据噪声,谁就更可能真正定义模型的认知形状。


把大模型能力拆开看,Talkie 才真正有价值

Talkie 对普通读者最有启发的地方,也许是它迫使我们把“大模型能力”拆成几个不同层面,而不再笼统地说“它很聪明”。

第一层是记忆。模型知道多少事实,见过多少答案,读过多少网页。现代大模型在这一层极强,也最容易让人产生一种幻觉式崇拜,好像回答得快、覆盖面大,就等于理解得深。

第二层是迁移。模型能不能把已有的结构迁移到陌生任务中?能不能从数学关系推到代码结构,从机械直觉推到技术新物种,从历史经验推到未来趋势?Talkie 最有研究价值的部分,恰恰就在这里。

第三层则是世界观。模型不只是回答问题,它还会继承训练语料里的时代气质。它的礼貌、偏见、保守、乐观、想象边界,全都不是凭空冒出来的。一个大模型,本质上是一座被压缩过的人类文本文明。

从这个角度看,Talkie 特别像一面镜子。它照见的不只是 1930 年,也照见今天。因为我们眼前这些最先进的大模型,难道不也同样被困在自己的时代里吗?只是它们被困在 2020 年代的互联网、论文、代码仓库、社交平台和商业语言之中,所以我们反而很难察觉。


真正值得期待的,也许不是“全知模型”

Talkie 最终留下的,不是 nostalgia,而是一个很值得继续追问的方向。

未来真正值得期待的,可能并不是一个“知道一切”的单一模型,而是一组拥有不同知识边界、不同文化来源、不同历史材料和不同专业语料的模型。一个读古籍的模型,一个读工业图纸和工艺规程的模型,一个读法律判例的模型,一个读物理实验记录的模型,一个读 1930 年以前世界的模型。

这些模型之间的差异,本身就会成为理解智能来源的工具。我们也许正需要这种差异,去分辨模型哪些能力来自记忆,哪些来自迁移,哪些来自语料塑造的世界观。

Talkie 的诞生提醒我们:把记忆拿走,才知道智能还剩下多少;把时代拿走,才知道模型有没有真正的想象力。它不是一个被困在 1930 年的古董,而是一场关于 AI 本质的反向实验。

因为有时候,最先进的问题,恰恰要从过去开始问起。


分享到