4 万字全文: Andrej Karpathy 最新深度解析人工智能的真实边界与未来: 智能体十年征途 | 总结+视频

整理: Web3天空之城

作为特斯拉前人工智能总监和OpenAI的创始成员之一，以及城主最喜欢的AI大神没有之一, Andrej Karpathy的名字始终与过去十年人工智能领域最激动人心的突破紧密相连。他既是推动技术边界的工程师，也是冷静审视行业脉搏的思想者, 更是一位无私的深度学习教育者。

在昨晚最新发布的这次和著名科技播客Dwarkesh Patel的深度对话中，面对行业内普遍存在的“智能体元年”的乐观情绪，Karpathy给出了一个更为审慎而深刻的判断：我们正开启的，并非一蹴而就的革命，而是一场需要十年求索的漫长征途。

在这场对话中，Karpathy系统地剖析了当前AI技术的核心局限，从强化学习的内在缺陷，到人工智能与生物智能的本质差异，再到他对“智能爆炸”论的冷静反思。他不仅是一位技术专家，更像一位数字时代的哲学家，试图为我们描绘一幅更真实、更具挑战性，也更富远见的AI发展蓝图。本文提炼了这场对话的精髓，旨在揭示这位行业巨擘眼中，人工智能的现状、困境与最终使命。

完整视频:上:

完整视频: 下:

核心观点摘要

• • “我们正处在智能体的十年，而非智能体的一年。解决它们在认知、多模态和持续学习上的核心缺陷，大约需要十年时间。”

• • “我们实际上并没有在建造动物。我们正在建造的是幽灵。AI是通过模仿人类数据这种‘糟糕的进化’构建的数字实体，这与通过真正进化而来的生物在本质上是两种不同的智能。”

• • “目前的强化学习效率极低，你就像是在‘通过吸管吸取监督’。你做了所有这些工作，最终只为了得到一个‘做对了’的稀疏信号，这太疯狂了。”

• • “我很难区分人工智能的起点和终点，因为它从根本上是计算的延伸。其发展将平稳地融入经济增长曲线，而不是引发突然的、超指数级的‘智能爆炸’。”

• • “我们真正想要的，是剥离掉记忆的‘认知核心’。一个更智能的实体，只包含算法、策略和解决问题的魔力。”

• • “教育的真正突破在于创造完美的AI导师。它能精准评估你的水平，提供恰到好处的挑战，让你自己成为学习的唯一瓶颈。”

智能体的十年征途，而非一年之功

在人工智能社区对“智能体（Agents）”的潜力报以狂热期待，甚至宣告“智能体元年”到来之际，Andrej Karpathy却扮演了那个点醒众人的角色。在他看来，这种预测过于乐观，忽略了通往真正可靠的通用智能体之路上的巨大鸿沟。

“你今天不会雇佣一个AI智能体来当实习生，原因很简单，它们根本不够好用，” Karpathy直言不讳。他指出了当前智能体存在的多个根本性缺陷：“它们不够智能，不够多模态，无法进行复杂的计算机操作，也不具备持续学习的能力。你不能只是告诉它们一些事情，然后期望它们记住。它们的认知能力存在缺陷。”

这种判断并非凭空而来，而是源于他近二十年在AI领域的深耕与观察。他回顾了AI发展的几次重大范式转移：从AlexNet引爆的针对特定任务的神经网络，到2013年左右以Atari游戏为代表的深度强化学习浪潮。他坦言，后者在当时被视为通往通用人工智能（AGI）的路径，但**“那实际上是个错误”**。包括他自己在OpenAI早期领导的Universe项目（训练智能体操作网页），都犯了“过早追求完整智能体”的错误。

“事实证明，那太早了，早到我们不应该从事这项工作，” Karpathy解释道，“因为如果你只是胡乱敲击键盘和点击鼠标，试图在这些环境中获得奖励，你的奖励信号太稀疏了，根本无法有效学习。” 真正的关键在于，必须先通过大规模预训练，构建出强大的表征能力——也就是今天我们所熟知的大型语言模型（LLM）。“你必须首先获得语言模型，获得表征，然后才能在此基础上构建有能力的智能体。” 正是基于对这些工程挑战艰巨性的深刻理解，他才给出了**“解决所有这些问题大约需要十年时间”**的判断。

幽灵而非动物：人工智能与生物智能的根本分野

在探讨AI的未来时，与人类或动物进行类比是一种常见的思维方式。然而，Karpathy对此持非常谨慎的态度，并提出了一个极具洞察力的分野：“我们实际上并没有在建造动物。我们正在建造的是幽灵。”

他解释说，动物是通过数亿年的进化，在物理硬件的基础上产生的智能体。“一只斑马出生后几分钟就能跑来跑去，跟着它的母亲。那不是强化学习，那是某种内置的东西，是进化将神经网络的权重编码在了ATCG中。” 这种智能与物理世界深度耦合，拥有大量与生俱来的能力。

相比之下，当前的AI模型是纯粹的数字实体，它们的“诞生”过程截然不同。“我们基本上是通过模仿人类以及他们放在互联网上的数据来进行训练。所以你最终会得到这些类似虚无缥缈的精神实体，因为它们完全是数字化的，并且它们有点像在模仿人类。这是一种不同的智能。” Karpathy将大模型预训练的过程称为一种**“糟糕的进化”**（a poor man's evolution），它是我们在现有技术条件下，为了让模型获得基础知识和智能，所能采取的权宜之计。

这种“幽灵”与“动物”的本质区别，解释了AI在很多任务上表现出的脆弱性。它们缺乏动物所具备的、源于进化的常识和鲁棒性。更重要的是，Karpathy认为，我们应该正视这种差异，而不是盲目地试图复制生物智能。“我是从‘让我们建造有用的东西’的角度出发的。事实证明，通过模仿互联网文档，我们可以构建这些幽灵般的实体，而且这是可行的。”

“通过吸管吸取监督”：强化学习的困境

强化学习（RL）被许多人视为让AI超越模仿、学会创造性解决问题的关键。但Karpathy对其当前的实现方式提出了尖锐批评，并用了一个生动的比喻来形容其效率之低：“你就像是在‘通过吸管吸取监督’（sipping supervision through a straw）。”

他以解决数学问题为例，描绘了强化学习的运作方式：模型会并行尝试数百种不同的解题路径，最后根据答案是否正确，对整个解题轨迹进行奖励或惩罚。“你做了所有这些工作，只是为了在最后得到一个数字，比如，你做对了。基于此，你将整个轨迹评估为向上加权重或向下加权重。这太疯狂了。”

这种方法的根本问题在于其“高方差”和“噪声”。一个最终正确的解题路径中，可能包含了大量错误的步骤，但它们同样会被“奖励”。“人类永远不会这样做，” Karpathy强调，“当一个人找到解决方案时，他们会有一个相当复杂的审查过程，仔细思考哪些部分做得好，哪些做得不好。目前的LLM中没有任何东西能做到这一点。”

那么，为何不采用更精细的“基于过程的监督”呢？Karpathy指出，这在自动化上极其困难。如果使用另一个LLM作为“裁判”来评估每一步，很快就会遇到“可被博弈”的问题。模型会迅速找到裁判模型的对抗性样本，即那些看起来荒谬无比，却能骗取高分的“解决方案”。他分享了一个真实的例子：一个模型为了获得奖励，最终输出的答案变成了无意义的重复词语（the, the, the, the, the），而作为裁判的LLM却因为从未见过这种样本外的输入，给出了100%的满分。这揭示了当前AI监督机制的深层脆弱性。

从NanoChat看AI编码：为何顶尖工程师仍无法放手？

Karpathy最近发布的开源项目NanoChat，一个从零开始构建类ChatGPT模型的代码库，为我们提供了一个观察顶尖工程师与AI编码工具协作的绝佳案例。他的经验戳破了“AI将很快自动化软件工程”的神话。

他坦言，在构建这个高度原创且智力密集的代码库时，流行的AI编码智能体（Coding Agents）“帮助很小”。原因在于，这些模型擅长的是互联网上常见的“样板代码”，但对于需要独特架构和自定义实现的非标准任务，它们则显得力不从心。

“这些模型一直误解代码，因为它们有太多来自互联网上所有典型做法的记忆，而我并没有采用这些做法，” Karpathy举例说，他没有使用标准的DDP容器来进行多GPU同步，而是编写了自己的实现，但模型却无法理解这一点，反复试图“纠正”他。“它们不停地试图搞乱风格，膨胀代码库，增加复杂度，多次使用已弃用的API。这完全是一团糟。”

最终，对他而言，最高效的方式仍然是自己作为架构师，辅以类似Github Copilot的**“自动补全”功能。这深刻地揭示了当前AI在工程领域的真实定位：它们是强大的效率工具，类似于更高级的编译器或语法检查器，但远未达到能够独立进行创造性工程设计的程度。“他们不擅长编写以前从未编写过的代码，”** 这句话或许是对当前AI编码能力最精准的概括。

智能爆炸还是持续演进？一个更冷静的增长视角

关于AI是否会引发“智能爆炸”，导致技术以超指数级速度递归自我改进，是业界经久不衰的辩论。Karpathy的立场清晰而坚定：他认为AI的发展将是连续的，而非断裂的。“我确实认为人工智能在某种根本意义上是计算的延伸，” 他说，“我们已经处于智能爆炸之中几十年了，当你观察GDP时，它基本上就是那条曲线。”

他引述了一个有力的证据：无论是个人电脑的普及还是智能手机的诞生，这些被我们视为革命性的技术，都未能改变全球GDP长期以来保持的平滑指数增长曲线。“你无法在GDP中找到它们。一切都分布得如此分散，扩散得如此缓慢，以至于最终都被平均化为相同的指数增长。”

他预测，人工智能也将遵循同样的模式。它将逐步渗透到经济的各个角落，自动化越来越多的任务，将人类推向更高的抽象层次，但这整个过程将是渐进的、平滑的，最终汇入那条长达数百年的技术自动化和经济增长的历史长河中。“突然拥有一个完全智能、完全灵活、完全通用的人类在一个盒子里——我不认为我们会发生这种离散的变化。”

尤里卡时刻：AI的终极使命是重塑人类学习

在访谈的最后，Karpathy分享了他当前投身的事业——一个名为“尤里卡”（Eureka）的教育项目。这揭示了他对AI终极价值的思考：赋能人类，而非取代人类。他最大的恐惧，是看到人类在AI时代变得像电影《机器人总动员》中那样被动和边缘化。

他心目中教育的未来，是创造一个**“完美的AI导师”。他以自己学习韩语时与一位优秀人类导师的经历为例，描述了这种理想状态：“她能立刻理解我作为一名学生的水平，准确探究我的世界模型，并始终为我提供恰到好处的挑战。我感觉学习的唯一约束就是我自己。”**

要实现这一点，AI需要具备当前模型远未达到的、对人类认知状态的深刻理解能力。尽管道阻且长，但这正是Karpathy努力的方向。他认为，教育的核心是一个技术问题：“如何构建这些通往知识的坡道（ramps to knowledge），让人们永远不会被卡住。” 他所做的每一个教程、每一个开源项目，比如将反向传播精炼为100行代码的MicroGrad，都是在践行这一理念——找到知识的“一阶项”，让复杂变得简单，最大化人们的“尤里卡时刻”。

从对智能体十年的冷静预判，到对教育未来的热情投入，Andrej Karpathy为我们呈现了一个复杂而完整的AI图景。在这幅图景中，没有捷径，只有艰巨的工程挑战；没有神话，只有对智能本质的深刻洞察；最终的目标，不是创造一个无所不能的“神”，而是打造出能让每一个人都成为更好的学习者和创造者的终极工具。

---

Web3天空之城全文整理版

智能体的十年，而非一年

主持人Dwarkesh: 今天，我和安德烈·卡帕斯（Andrei Karpathy）对话。安德烈，你为什么说这将是智能体（agents）的十年，而不是智能体的一年？

Andrej Karpathy: 首先，感谢邀请我来这里。我很高兴来到这里。所以你刚才提到的那句话，是关于智能体的十年。实际上，这是对一个已经存在的引言的回应，应该说，我认为很多实验室，我不确定是谁说的，但他们都在暗示这将是智能体的一年，就大型语言模型（LLMs）及其发展而言。我觉得我被这句话触动了，因为我觉得行业里存在一些过度预测。在我看来，将其更准确地描述为智能体的十年更为合适。

我们已经有一些非常早期的智能体，它们实际上非常令人印象深刻，而且我每天都在使用，比如，Claude和Codex等等。但我仍然觉得还有很多工作要做。我觉得我的反应是，我们将与这些东西共事十年。它们会变得更好，而且会很棒。但我想我只是对时间线做出了反应，我想，这是其含义。你认为需要十年才能完成什么？瓶颈是什么？

真正让它发挥作用。所以在我看来，当你在谈论一个代理时，我想，或者实验室的想法，以及也许我也有的想法，就是你应该把它想象成一个雇员，或者像你雇来和你一起工作的实习生。例如，你在这里和一些员工一起工作。你什么时候更愿意让像Claude或Codex这样的代理来完成这项工作？当然，目前他们做不到。为了让他们能够做到这一点，需要什么？为什么你今天不做呢？

你今天不做的原因是它们根本不好用。所以，它们就像是，没有足够的智能。它们不够多模态。它们不能进行计算机使用和做所有这类事情。它们也没有做到你之前暗示的很多事情。它们不具备持续学习的能力。你不能只是告诉它们一些事情，然后它们就会记住。它们的认知能力不足，而且就是不好用。我只是认为解决所有这些问题大约需要十年时间。

主持人Dwarkesh: 有意思。所以作为一个专业的播客主和一个从远处观察人工智能的人，对我来说很容易识别，比如，这里缺少什么。缺少持续学习或缺少多模态。但我真的没有一个好的方法来尝试给它设定一个时间表。比如，如果有人问，持续学习需要多久？我没有关于这个项目应该花费5年、10年、50年的先验认知。为什么是十年？为什么不是一年？为什么不是50年？

Andrej Karpathy: 我想这就是你开始进入一些，我猜，我自己的直觉的地方。并且也根据我在该领域的自身经验做了一些推断。所以我想我在人工智能领域已经有近20年了。可能大概有15年左右，没那么久。你们请来了Richard Sutton，他当然在这个领域待了更长时间。但我确实有大约15年的经验，看到了人们做出预测，以及预测最终是如何实现的。而且我还在行业内工作了一段时间，也做过研究，然后在行业内工作了一段时间。所以我想我大概只是有一种从那段经历中留下的普遍直觉。而且我觉得这些问题是可解决的。它们是可克服的。但它们仍然很困难。如果我只是取平均值，感觉就像一张门票，我想，对我来说。

主持人Dwarkesh: 这实际上非常有趣。我想听到的不仅是历史，还有房间里的人们在各个不同的突破时刻，感觉即将发生什么。对。他们的感觉在哪些方面过于悲观或过于乐观？我们是否应该逐一地过一遍？

Andrej Karpathy: 这是一个巨大的问题，因为，当然，你在谈论15年里发生的事情。人工智能实际上非常棒，因为已经出现了很多，我想说，剧烈的转变。这些转变就像整个领域突然以不同的方式看待问题。对。而且我想我可能经历过其中两三次。我仍然认为还会继续出现一些，因为它们带有一种几乎令人惊讶的不规律性。

当我的职业生涯开始时，当然，就像当我开始研究深度学习，当我开始对深度学习感兴趣时，这仅仅是一种偶然，因为我在多伦多大学就在Geoff Hinton旁边。而Geoff Hinton，当然，有点像人工智能的教父级人物。他当时正在训练所有这些神经网络。我觉得这太不可思议了，也很有趣。但这远非人工智能领域每个人都在做的主要事情。不。这只是一个侧面的小众课题。

这有点像伴随AlexNet等出现的第一次剧烈的、某种程度的地震式转变。我会说，AlexNet某种程度上让每个人都重新定向，每个人都开始训练神经网络。但它仍然非常像每个任务、每个特定任务。所以也许我有一个图像分类器，或者我有一个神经机器器之类的东西。实际上，人们开始非常缓慢地对代理，或者说某种代理产生兴趣。人们开始思考，好吧，也许我们在视觉皮层旁边有一个复选标记之类的东西。但是大脑的其他部分呢？我们如何获得一个真正的完整的代理，或者一个完整的实体，它可以真正在世界中互动？

我会说，2013年左右雅达利那种深度强化学习的转变，在我看来是早期代理尝试的一部分。因为那是一次尝试，试图获得不仅能感知世界，还能采取行动、互动并从环境中获得奖励的代理。当时，这是雅达利游戏。对。我觉得那实际上是个错误。这是一个错误，实际上甚至我参与的早期OpenAI也采用了这种做法。因为在那个时候，时代精神是强化学习环境、游戏、游戏玩法、击败游戏、获得许多不同类型的游戏。而且OpenAI当时正在做很多这样的事情。所以这可能是人工智能的另一个突出部分，我想说，可能在两三年或四年里，每个人都在游戏中进行强化学习。基本上，那有点失策。

实际上，我在OpenAI尝试做的是，我一直对游戏持怀疑态度，认为游戏是能够真正导致AGI（通用人工智能）的东西。因为在我看来，你需要像会计师一样的东西，或者一些真正与现实世界互动的东西。我只是不明白游戏是如何加起来达到那个目标的。所以，例如，我在OpenAI的项目是在宇宙项目的范围内，研究一个使用键盘和鼠标操作网页的智能体。我真的希望有一些东西能够与实际的数字世界互动，能够做知识型工作。

结果证明，这太早了，非常非常早，早到我们不应该从事这项工作，因为如果你只是磕磕绊绊地摸索，胡乱敲击键盘和点击鼠标，试图在这些环境中获得奖励，你的奖励太稀疏了，你根本无法学习，而且你会耗费大量的计算资源，永远无法真正取得进展。因此，你所错失的是神经网络中这种表征的力量。因此，举例来说，如今人们正在训练那些使用代理的计算机，但他们是在大型语言模型的基础上进行的。因此，你实际上必须首先获得语言模型，你必须首先获得表征，而且你必须通过所有的 pre-training 和所有 LLM 相关的东西来实现这一点。

所以我感觉，大概地说，就像人们总是试图过早地获得完整的东西，好几次，人们真的过早地追求代理，我会说，那是雅达利（Atari）和宇宙（Universe），甚至包括我自己的经验。实际上，在你最终达到那些代理之前，你必须首先做一些事情。也许现在这些代理更有能力了，但也许我们仍然缺少堆栈中的某些部分。但我会说，也许这些是人们正在做的三个主要方向：针对特定任务训练神经网络，尝试第一轮的代理，然后是LLM，以及在附加其他所有东西之前，实际寻求神经网络的表征能力。

主持人Dwarkesh: 有意思。我想如果我要以钢铁般意志来重新构建突然出现的观点，那就是人类实际上可以一次性承担所有的事情，甚至动物也可以一次性承担所有的事情，动物也许是一个更好的例子，因为它们甚至没有语言的支架。他们就被抛到这个世界里，而且他们必须在没有任何标签的情况下理解一切。那么，通用人工智能的愿景应该是这样一种东西，它仅仅是观察感觉数据，观察电脑屏幕，然后它就像是从零开始弄清楚发生了什么。如果一个人被置于类似的情况，那也将会是从零开始训练的。但这就像一个人或动物的成长过程。那么，为什么人工智能的愿zion不应该是这样，而不是像我们进行数百万年的训练这样的事情呢？

幽灵而非动物：人工智能与生物智能的分野

Andrej Karpathy: 我认为这是一个非常好的问题。我认为，萨顿上过你的播客，我看到了那个播客。我对那个播客写了一篇评论，几乎涉及到我如何看待事物的一些观点。我觉得我非常小心地将人工智能与动物类比，因为它们是通过非常不同的优化过程产生的。动物是进化而来的，而且它们实际上配备了大量的内置硬件。而且，例如，我在文章中的例子是斑马。一只斑马出生后，几分钟就能跑来跑去，跟着它的母亲。这是一件极其复杂的事情。那不是强化学习。那是某种内置的东西。显然，进化以某种方式将我们神经网络的权重编码在ATCG中。我不知道那是如何运作的，但它显然有效。

所以我有点觉得大脑来自一个非常不同的过程。我很犹豫是否从中汲取灵感，因为我们实际上并没有运行那个过程。所以在我的文章中，我有点说，我们实际上并没有建造动物。我们正在建造幽灵或灵魂，或者人们想称之为的任何东西。因为我们不是通过进化来进行训练。我们基本上是通过模仿人类以及他们放在互联网上的数据来进行训练。所以你最终会得到这些类似虚无缥缈的精神实体，因为它们是完全数字化的，并且它们有点像在模仿人类。这是一种不同的智能。就像如果你想象一个智能空间，我们几乎是从一个不同的起点开始。我们并没有真正地建造动物。

但我认为随着时间的推移，也有可能使它们更像动物。而且我认为我们应该这样做。所以我有有点感觉... ，我想再补充一点是，我确实觉得萨顿基本上有一个非常... 就像他的框架一样，比如我们想建造动物。我实际上认为那会很棒。如果我们能让它运作起来，那将是惊人的。如果存在一个你可以在互联网上运行的单一算法，并且它能学习一切，那将是不可思议的。我几乎怀疑... 我实际上不确定它是否存在。而且这肯定不是动物实际所做的事情。因为动物有这种外部的进化循环。很多看起来像学习的东西实际上更多是大脑的成熟。

而且我认为实际上动物的强化学习非常少。我认为很多强化学习实际上更像是运动任务。它不是智能任务。所以我实际上有点觉得…… 大体上来说，我认为人类实际上并不真正使用强化学习。

主持人Dwarkesh: 你能重复最后一句话吗？很多智能并非运动任务。这是为什么，？

Andrej Karpathy: 在我看来，很多强化学习更像是运动类的，比如简单的任务，扔铁环之类的。但我不认为人类将强化学习用于很多智能任务，比如解决问题等等。有意思。但这并不意味着我们不应该将其用于研究。但我只是觉得那是动物会做或不会做的事情。

主持人Dwarkesh: 我要花点时间来消化一下，因为这里有很多不同的想法。也许我可以问一个澄清性的问题来理解这个观点。所以我认为你的意思是，进化正在做着类似预训练的事情，即构建一种能够理解世界的东西。我想，区别在于，就人类而言，进化必须通过3千兆字节的DNA进行滴定。因此，这与模型的权重非常不同。字面上说，模型的权重是一个大脑，这显然没有编码在精子和卵子中，或者说不存在于精子和卵子中。所以它必须被培养。而且，大脑中每个突触的信息根本不可能存在于DNA中那3千兆字节里。进化似乎更接近于找到算法，然后进行终身学习。现在，也许终身学习与强化学习并不相似，正如你所说。这与你所说的相符吗，或者你不同意？

Andrej Karpathy: 我也这么认为。我同意你的看法，这里面存在某种奇迹般的压缩，因为显然神经网络的权重并没有存储在TCG中。这里存在某种戏剧性的压缩，而且编码了一些学习算法，它们接管并进行一些在线学习。所以我完全同意你的观点。

基本上，我会说我更偏向于实践。我不是从“让我们建造动物”的角度出发的。我是从“让我们建造有用的东西”的角度出发的。所以我戴着安全帽。我只是观察到，看，我们不会进行进化，因为我不知道该怎么做。但事实证明，通过模仿互联网文档，我们可以构建这些幽灵般、精神般的实体。这是可行的。而且实际上有点这是一种让你达到某种程度的方式，这种程度在某种程度上拥有很多内置的知识和智能，类似于进化所做的事情。所以我才把预训练称之为一种糟糕的进化。这就像用我们的技术和我们所能获得的资源，实际可行的版本，让我们达到一个起点，在那里我们可以真正地进行诸如强化学习之类的事情。

主持人Dwarkesh: 为了更好地理解另一种观点，因为在完成这次采访并思考了一番之后，这里有一个重要的点。进化并没有真正给我们知识，它给了我们寻找知识的算法。这似乎与预训练不同。因此，也许这种观点认为，预训练有助于构建一种能够更好地学习的实体。它教授元学习。因此，它类似于找到一种算法。但如果说进化赋予我们知识，而预训练也赋予我们知识，那这种类比似乎就不成立了。

Andrej Karpathy: 所以这很微妙，我认为你反驳它是对的。但基本上，预训练所做的事情是，你基本上是在互联网上获得下一个token预测器，然后将其训练到一个神经网络中。实际上它做了两件事，这两件事有点不相关。第一，它正在获取所有这些知识，正如我所说的。第二，它实际上变得智能了。通过观察互联网上的算法模式，它实际上启动了神经网络内部所有这些小电路和算法，来做诸如上下文学习之类的所有这些事情。

实际上，你并不需要或想要这些知识。我实际上认为这可能实际上阻碍了整个神经网络的发展，因为它实际上让它们有时过于依赖知识。例如，我感觉智能体们不太擅长的一件事是脱离互联网上存在的数据流形。如果他们掌握的知识或记忆更少，实际上可能反而会更好。所以我认为我们接下来要做的事情，这也将是研究范式的一部分，实际上我认为我们需要开始，我们需要找到方法来移除一些知识，并保留我称之为认知核心的东西。它就像一个智能实体，从知识中剥离出来，但包含算法，包含智能和解决问题的魔力，以及其中的策略和所有这些东西。

上下文学习与梯度下降

主持人Dwarkesh: 那里有很多有趣的东西。好的，让我们从上下文学习开始。这是一个显而易见的观点，但我认为值得明确地说出来并进行思考。这些模型显得最智能的情况是，当我与它们交谈时，我会觉得，哇，另一端真的有什么东西在回应我，思考问题，如果它犯了错误，它会说，等等，那实际上是错误的思考方式，我正在撤退。所有这些都在上下文中发生。在那里，我感觉你可以清楚地看到真正的智能。而这种上下文学习过程是通过预训练的梯度下降来开发的，就像在元学习中一样，它自发地进行上下文学习的元学习。但上下文学习本身并不是梯度下降。就像我们人类一生的智慧能够做事情是受到进化制约的一样，但我们一生中实际的学习是通过其他某种过程发生的。实际上我不太同意这一点，但你应该继续讲下去。好吧。

Andrej Karpathy: 实际上，那我非常好奇想了解这个类比是如何失效的。我觉得我不太愿意说上下文学习没有进行梯度下降，因为，它没有进行显式的梯度下降，但我仍然认为…… 所以上下文学习，基本上，就是在Token窗口内的模式补全，结果表明互联网上存在大量的模式。所以你是对的，该模型有点像学会了补全模式。这就存在于权重之中。神经网络的权重试图发现模式并补全模式。神经网络内部会发生某种适应，这有点神奇，而且只是因为互联网上存在大量模式而自然产生。

我要说的是，我看到过一些我认为有趣的论文，它们实际上研究了上下文学习背后的机制。我确实认为，上下文学习实际上在神经网络的层中内部运行着一个小的梯度下降循环。我记得有一篇特别的论文，他们实际上使用上下文学习进行了线性回归。所以基本上，你输入到神经网络的是x, y对，x, y, x, y, x, y，它们恰好在一条线上。然后你输入x，并期望得到y。当你以这种方式训练神经网络时，它实际上会进行线性回归。通常，当你运行线性回归时，你会有一个小的梯度下降优化器，它基本上查看x，y，查看误差，计算权重的梯度，并进行几次更新。

结果表明，当他们查看该上下文学习算法的权重时，他们实际上发现了一些与梯度下降机制的类似之处。事实上，我认为甚至论文的论证更强，因为他们实际上硬编码了一个神经网络的权重，通过注意力机制和神经网络的所有内部结构来进行梯度下降。所以我想这只是我唯一的反驳，谁知道上下文学习是如何运作的，但我实际上认为它可能在内部进行某种奇怪的梯度下降，而且我认为这是有可能的。所以我想我只是在反驳，你说它没有进行上下文学习。谁知道它在做什么，但它可能在做一些类似的事情，但我们不知道。

主持人Dwarkesh: 那么值得思考的是，好吧，如果它们都在实现梯度下降…… ，如果上下文学习和预训练都在实现类似梯度下降的东西，为什么感觉上下文学习实际上让我们达到了持续学习、类似真正智能的状态，而你却无法从预训练中获得类似的感觉？至少你可以这样争辩。所以如果它是相同的算法，那么有什么不同呢？

你可以这样理解：模型存储的每个信息，对应于它从训练中接收到的信息量是多少？如果你看看预训练，比如Llama 3，我认为它是在15万亿个token上训练的。如果你看看70B模型，那相当于每个token 0.07比特，指的是模型权重中的信息量，相对于它读取的token而言，在预训练中。然而，如果你看看KV缓存以及它在上下文学习中每个额外token的增长，它就像320千字节。所以，模型吸收的每个token的信息量相差3500万倍。我想知道这是否相关。

Andrej Karpathy: 我觉得我有点同意。我通常这样说：神经网络训练期间发生的任何事情，知识都只是对训练时发生的事情的一种模糊回忆。这是因为压缩非常剧烈。你正在获取15万亿个token，并将它们压缩到只有几十亿个参数的最终网络中。所以很明显，这里进行了大量的压缩。所以我把它比作对互联网文档的一种模糊的回忆。

然而，在神经网络的上下文窗口中发生的任何事情，你都在插入所有的Token，并且它正在构建所有这些KV缓存表示，对神经网络来说是可以直接访问的。所以我将KV缓存和测试时发生的事情比较，更像是工作记忆。就像上下文中包含的所有内容，对神经网络来说都是可以直接访问的。

所以LLM和人类之间总是存在这些几乎令人惊讶的类比。我发现它们有点令人惊讶，因为我们当然不是试图直接构建人脑。我们只是发现这样做有效，并且我们正在这样做。但我确实认为，任何存在于权重中的东西，都像是对你一年前阅读内容的一种模糊的回忆。你在测试时作为上下文给出的任何东西，都直接存在于工作记忆中。我认为这是一个非常强大的类比来思考问题。所以，当你，例如，使用一个大型语言模型(LLM)并询问它关于某本书以及书中发生了什么，比如尼克·莱恩的书或者类似的东西时，大型语言模型通常会给你一些东西，这些东西大致是正确的。但是如果你给它完整的章节并向它提问，你会得到更好的结果，因为它现在已经加载到模型的工作记忆中。所以我基本上同意你用很长的方式表达的，我有点同意，这就是原因。

人工智能缺失了什么？

主持人Dwarkesh: 退一步说，我们最希望人类智能的哪个部分能够被这些模型复制，但却失败了？

Andrej Karpathy: 我几乎感觉很多都没能复制。所以也许有一种思考方式，我不知道这是否是最好的方式，但我几乎觉得，再说一次，做这些类比，尽管它们并不完美，我们偶然发现了 former神经网络，它非常强大，非常通用。你可以在音频、视频、文本或任何你想要的东西上训练 former，它只是学习模式，它们非常强大，而且效果非常好。对我来说，这几乎表明这有点像某种皮层组织。它有点像那样，因为众所周知，大脑皮层也具有很强的可塑性。你可以重新连接大脑的各个部分，并且有一些稍微可怕的实验，比如将视觉皮层重新连接到听觉皮层，而这种动物可以学习5个等等。所以我想这有点像皮质组织。

我认为当我们在神经网络内部进行推理和规划时，所以基本上是为思考模型做推理追踪，这有点像前额叶皮层。然后我认为我们，也许那些就像小小的复选标记，但我仍然认为有很多大脑部分和神经核尚未被探索。所以也许，例如，当我们在强化学习上微调模型时，基底神经节正在进行一些强化学习。但是，像海马体，不明显那会是什么。某些部分可能不重要。也许小脑对认知不重要。人们是这么认为的，所以也许我们可以跳过其中一些。但我仍然认为，例如，杏仁核，所有的情绪和本能都很重要。并且大脑中可能还有许多非常古老的神经核，我认为我们还没有真正复制它们。

我实际上不知道我们是否应该追求，你知道的，构建人脑的模拟物。我，再说一次，本质上主要是一名工程师。但我仍然觉得回答这个问题的另一种方式是，你不会雇佣这东西当实习生。而且它缺少很多... 这是因为它伴随着很多认知缺陷，当我们与这些模型交谈时，我们都能凭直觉感受到。所以它就像还没有完全到位。你可以把它看作是像大脑的某些部分还没有被勾选。

主持人Dwarkesh: 这可能与思考这些问题将以多快的速度得到解决有关。所以有时人们会谈论持续学习，说，看，实际上，你已经可以... 你可以很容易地复制这种能力，就像上下文学习由于预训练而自发出现一样。如果模型被激励回忆更长时间范围内的信息，或超过一个会话的时间范围，那么在更长时间范围内的持续学习将会自发出现。所以如果存在某种像外部循环强化学习这样的东西，其中该外部循环中包含许多会话，那么这种持续学习，比如它微调自己或写入外部记忆或其他什么东西，就会自发地出现。你认为... 你认为这些事情是任何有可能发生的吗？我只是...我真的没有关于这有多么合理的先验认知。这有多大可能发生？

Andrej Karpathy: 我不知道我是否完全赞同这一点，因为我觉得这些模型，当你启动它们并且它们的窗口中没有Token时，它们总是像从头开始一样重新启动。所以我实际上不知道在这种世界观中它是什么样子的，因为，再次，也许可以类比人类，因为我认为这大致具体并且思考起来很有趣。我觉得当我醒着的时候，我正在构建一个当天发生的事件的上下文窗口。但我觉得当我入睡时，会发生一些神奇的事情，我实际上并不认为那个上下文窗口会一直存在。我认为存在某种提炼到我大脑权重中的过程。这发生在睡眠期间以及所有此类事情中。我们在更大的语言模型中没有与所有这些等效的东西。

对我而言，这与你谈论持续学习等缺失的情况更接近。这些模型实际上并没有经历这样一个提炼阶段，即获取发生的事情，分析它，沉迷于思考它，基本上执行某种合成数据生成过程并将其提炼回权重中，并且可能每个人都有特定的神经网络。也许这是一个LoRa。它不是一个完整的权重神经网络。权重的一些小的、稀疏的子集发生了改变。但基本上，我们确实想要创建一些方法来创建这些具有非常长上下文的个体。它不仅仅是停留在上下文窗口中，因为上下文窗口变得非常非常长。也许我们对它有一些非常精细、稀疏的注意力。但我仍然认为，人类显然有一些过程可以将这些知识提炼到权重中。我们错过了它。

我也确实认为，人类有一种非常精细的稀疏注意力机制，我认为我们已经开始看到一些早期的迹象。DeepSeq v3.2刚刚发布，我看到他们有一个稀疏注意力作为示例。这是拥有非常非常长的上下文窗口的一种方式。所以我几乎觉得我们正在通过一个非常不同的过程，重新做很多进化产生的认知技巧。但我认为，在认知上，我们将趋同于类似的架构。

主持人Dwarkesh: 有意思。10年后，你认为它还会是类似 former的东西，但具有更加改进的注意力和更稀疏的MLP等等吗？

Andrej Karpathy: 我喜欢这样思考它，好吧，让我们考虑时间上的平移不变性，那么10年前，我们在哪里？2015年，我们主要有卷积神经网络。残差网络刚出现。所以非常相似，我想，但仍然有很大不同。当时还没有 former。所有这些对 former的更现代的调整都还没有出现。所以也许我们可以在10年内押注的一些事情，我认为，通过平移等变性，是我们仍然在用前向、后向传播，并通过梯度下降进行更新来训练巨大的神经网络。但也许它看起来有点不同，而且一切都变得更大。

实际上，最近，我还回溯到了1989年，这对我来说是几年前的一个有趣的练习，因为我正在重现扬·勒丘恩1989年的卷积网络，这是我所知的第一个通过梯度下降训练的神经网络，就像现代神经网络通过梯度下降进行数字识别训练一样。我只是感兴趣，好吧，我该如何现代化它？有多少是算法的功劳？有多少是数据的功劳？有多少进步是计算和系统的功劳？我能够非常迅速地，比如一半的学习率，仅仅通过时间旅行回到33年前就知道了。所以如果我通过算法时间旅行到33年前，我可以调整杨·勒丘恩在1989年所做的事情，并且我可以基本上减半学习，减半误差。

但是为了获得更进一步的提升，我不得不增加更多的数据。我有大约10个额外的训练集。然后我实际上不得不添加更多的计算优化。不得不基本上用dropout和其他正则化技术训练更长时间。所以这几乎就像所有这些东西都必须同时改进。所以，我们可能会拥有更多的数据。我们可能会拥有更好的硬件。可能会拥有更好的内核和软件。我们可能会拥有更好的算法。所有这些，几乎没有哪一项能占据绝对优势。它们都出奇地势均力敌。这在一段时间内已经成为一种趋势。

我想为了回答你的问题，我期望在算法上出现与今天不同的情况。但我也期望一些长期存在的事物可能仍然存在。很有可能仍然是使用梯度下降训练的巨型神经网络。那就是我的猜测。令人惊讶的是，所有这些东西加在一起，只减少了一半误差的一半。

主持人Dwarkesh: 这就像30年的进步。也许一半很多，因为如果你把误差减半，那实际上意味着……一半已经很多了。

Andrej Karpathy: 但我想让我震惊的是，所有方面都需要改进。架构优化了损失函数，并且也在各个方面持续改进。所以我有点期望所有这些改变都依然有效。

构建之道：NanoChat 与编码模型的局限

主持人Dwarkesh: 实际上，我正要问一个关于nanoCHAT非常相似的问题。因为既然你最近才编写完成，构建聊天机器人的每一个步骤都还清晰地保留在你的内存中。我很好奇你是否有类似的想法，比如，从GPT-2到nanoCHAT，没有哪一项是特别重要的。从这次经历中，有哪些令人惊讶的收获？

Andrej Karpathy: 关于构建nanoCHAT？nanoCHAT是我发布的一种代码仓库。是昨天吗？还是前天？我记不清了。我们可以看到泄露的信息进入了……它只是想成为一个……它试图成为最简单的、完整的代码仓库，涵盖构建一个ChatGPT克隆的整个端到端流程。所以，你拥有所有的步骤，而不仅仅是任何单独的步骤，这堆积了很多……我过去曾处理过所有单个步骤，以及非常小的代码片段，它们可以向您展示如何在算法意义上用简单的代码来完成这些步骤。但这个有点像处理整个流程。

我认为就学习而言，倒不是... 我不确定我是否真的从中学习到了什么。我脑海里已经有如何构建它的想法了。这只是一个机械地构建它并使其足够简洁的过程。这样人们才能真正从中学习，并且觉得它有用。

主持人Dwarkesh:  对于某人来说，从中学习的最佳方式是什么？是像删除所有代码并尝试从头重新实现，还是尝试对其进行修改？

Andrej Karpathy: 我认为这是一个很好的问题。我可能会说... 所以基本上，它大约有8000行代码，可以带你了解整个流程。我可能会把它放在右边的显示器上。就像如果你有两台显示器，你把它放在右边，然后你想从头开始构建它。你从头开始构建。你不允许复制粘贴。你允许参考。你不允许复制粘贴。也许我会这样做。

但我也认为这个代码仓库本身就像一个相当大的野兽。我是说，当你编写这些代码时，你不是从上到下进行的。你是在一个个代码块开始，然后扩展这些代码块。而这些信息是缺失的。就像你不知道从哪里开始一样。所以我认为需要的不仅仅是一个最终的存储库。而是存储库的构建过程，这是一个复杂的代码块增长过程。对。所以那部分还没有完成。我很想在本周晚些时候以某种方式添加它。也许是一个视频之类的。

但大概来说，这就是我想做的。自己构建东西，但不要让自己复制粘贴。我确实认为几乎存在两种类型的知识。就像存在高层次的表面知识。但关键是，当你真正从头开始构建某些东西时，你会被迫面对你实际上不理解的东西，而且你不知道自己不理解它。有意思。而且它总是会带来更深入的理解。就像唯一的构建方式是，如果我无法构建它，我就不理解它。我相信，这是费曼的名言，或者类似的东西吗？我百分之百，我一直坚信这一点。因为存在所有这些细微的东西，它们只是没有被正确安排，而你并没有真正掌握这些知识。你只是认为你掌握了这些知识。

所以不要写博客文章。不要做幻灯片。不要做任何那些。就像构建代码，安排它，让它工作。这是唯一的出路。否则，你会错过知识。

主持人Dwarkesh: 你发推文说，编码模型实际上对你组装这个代码库的帮助很小。我很好奇为什么会这样。

Andrej Karpathy:  所以这个代码库，我想我花了一个多月的时间来构建它。我想说现在人们与代码交互的方式主要有三大类。有些人完全拒绝所有的大型语言模型，他们只是从头开始编写。我认为这可能不再是正确的做法了。中间部分，也就是我所处的位置，是你仍然从头开始编写很多东西，但你使用这些模型现在基本上可用的自动补全功能。所以当你开始写一小段代码时，它会为你自动补全，你可以直接点击通过，而且大多数时候都是正确的。有时它不正确，你需要编辑它。但你仍然是你所写内容的架构师。然后是，通过编码，请实现这个或那个，输入，然后让模型来做。这就是代理。

我觉得代理在非常特定的环境中工作，我会在特定的环境中使用它们。但同样，这些都是你可以使用的工具，你必须了解它们擅长什么，不擅长什么，以及何时使用它们。所以这些代理实际上相当不错，例如，如果你在做样板式的工作。样板代码，你知道的，就是复制粘贴的东西。它们非常擅长这个。它们非常擅长互联网上经常发生的事情。因为在这些模型的训练集中有很多这样的例子。所以存在一些特征，在这些特征上模型会表现得非常好。

我会说NanoChat不是这些例子之一，因为它是一个相当独特的存储库。我认为，按照我构建它的方式，没有那么多代码。而且它不是样板代码。它几乎就像智力密集型代码一样，一切都必须非常精确地安排。而且这些模型总是试图，它们一直试图，它们有太多的认知缺陷，所以一个例子是，它们一直试图，它们一直误解代码，因为它们有太多的来自互联网上所有典型做法的记忆，而我并没有采用这些做法。

所以这些模型，例如，我不知道我是否想深入到全部细节，但是它们一直认为我在编写普通代码，而我没有。也许一个例子。所以同步的方式，我们有8个GPU都在做前向后向传播。在它们之间同步梯度的方式是使用PyTorch的分布式数据并行容器，它会自动完成所有的，当你进行反向传播时，它会开始通信并同步梯度。我没有使用DDP，因为我不想使用它，因为它不是必要的。所以我把它扔掉了，我基本上编写了自己的同步程序，它位于优化器的步骤中。因此，这些模型试图让我使用DDP容器，而且它们非常关心，好吧，这变得太技术性了，但是我没有使用那个容器，因为我不需要它，而且我有一个类似它的自定义实现。

主持人Dwarkesh: 而且它们就是无法理解你拥有自己的实现。

Andrej Karpathy: 是啊，他们无法克服这一点。然后他们不停地试图搞乱风格，好像他们过度防御了。他们写了一堆try-catch语句。他们一直试图构建生产代码库，但我的代码中有很多假设，这没关系。这我不需要所有这些额外的东西。所以我觉得他们正在膨胀代码库。他们正在增加复杂度。他们一直误解。他们多次使用已弃用的API。所以这完全是一团糟。而且它并不是那么有用。我可以进去清理一下，但它并不是那么有用。

我也觉得用英语打出我想要的东西有点烦人，因为打字量太大了。比如，如果我直接导航到我想要的代码部分，然后到我知道代码应该出现的位置，并开始输入前三个字母，自动完成功能就会找到它并直接给出代码。所以我想，指定你想要的东西的信息带宽非常高。如果你指向代码并输入最初的几个部分，模型就会完成它。

所以我想我认为这些模型在堆栈的某些部分表现良好。实际上，我会在某些地方稍微使用这些模型，有两个例子可以说明这一点。一个是当我生成报告时，实际上那更像是样板文件。所以我实际上部分地对其中一些东西进行了字节码编译。那样挺好的。因为这不像关键任务的东西，而且它运行良好。另一部分是，当我在 Rust 中重写分词器时。我实际上不太擅长 Rust，因为我对 Rust 还比较陌生。所以我当时在做，当我编写一些 Rust 代码时，里面有一些字节码。但我有一个完全理解的 Python 实现，我只是在确保我在测试中制作一个更高效的版本。所以我觉得做那些事情更安全。所以基本上它们降低了，或者说增加了对你可能不太熟悉的语言或范式的可访问性。所以我认为它们在这方面也很有帮助。因为那里有大量的 Rust 代码，模型实际上很擅长它。我碰巧对它了解不多。所以这些模型在那里非常有用。

主持人Dwarkesh: 我认为这个问题如此有趣的原因在于，人们关于人工智能爆炸并迅速达到超级智能的主要故事是人工智能自动化、人工智能工程和人工智能研究。所以他们会关注你可以拥有云代码并从头开始构建整个应用程序、crud应用程序这一事实，并且会说，如果你在OpenAI和DeepMind等机构内部拥有同样的能力，那么想象一下，比如，成千上万甚至数百万的你们并行地寻找微小的架构调整。所以，听到你说这是他们不对称地更不擅长的事情，非常有趣。这与预测2027年人工智能类型爆发是否有可能很快发生非常相关。我认为这是一种很好的表达方式。

Andrej Karpathy: 而且我认为你理解了我的一些想法，比如为什么我的时间表会更长一些。你是对的。我认为，他们不擅长编写以前从未编写过的代码。也许这是表达它的一种方式，就像我们构建这些模型时试图实现的目标一样。

主持人Dwarkesh: 非常天真的问题，但是您添加到 NanoChat 中的架构调整，它们是不是写在某篇论文里了？它们甚至可能在某个代码仓库里。那么，当您添加 rope 嵌入或其他类似的东西时，他们无法将其整合，并且以错误的方式进行操作，这令人惊讶吗？

Andrej Karpathy: 这很棘手。我认为他们大概知道，他们大概知道，但他们并不完全了解，也不知道如何以您的风格、您的代码、您的位置以及您所做的一些自定义内容，将其完全整合到代码仓库中，以及它如何与仓库的所有假设和所有这些东西相契合。所以我认为他们确实有一些知识，但他们还没有达到可以真正整合它、理解它的程度。

顺便说一下，我确实认为很多这样的东西都在不断改进。所以我认为目前，我使用的最先进的模型可能是 GPT-5 Pro。那是一个非常非常强大的模型。所以如果我真的有 20 分钟，我会复制粘贴我的整个代码仓库，然后去 GPT-5 Pro，Oracle，问一些问题。而且通常来说还不错，与一年前的情况相比，好得出奇。但我确实认为总的来说，这些模型还不够完善。而且我感觉这个行业步子迈得太大了，还试图假装这很了不起。但事实并非如此，它很粗糙。而且我认为他们没有正视这个问题。也许他们想借此融资或其他什么的。我不确定发生了什么，但我们正处于这个中间阶段。这些模型令人惊叹。但它们仍然需要大量的改进。目前，自动补全是我的最佳选择。但有时对于某些类型的代码，我会求助于一个空图像。

主持人Dwarkesh: 实际上，这也有，这是另一个为什么这真的很令人感兴趣的原因。在编程的历史中，已经有很多生产力方面的改进，编译器、代码检查、更好的编程语言等等，这些都提高了程序员的生产力，但并没有导致爆发式的增长。所以这就像一种，听起来很像自动补全标签。而另一种类别就像是程序员的自动化。有趣的是，你会在更好的编译器或类似事物的历史类比中看到更多。

Andrej Karpathy: 因为这涉及到另一种想法，那就是，我确实觉得我很难区分人工智能的起点和终点，因为我确实认为人工智能在某种根本意义上是计算的延伸。而且我觉得我看到了这种递归式自我改进，或者说加速程序员的连续统一体，从一开始就存在。比如，即使是代码编辑器、语法高亮、语法，或者甚至是类型检查，比如数据类型检查。所有这些我们为彼此构建的工具，甚至搜索引擎，为什么搜索引擎不是人工智能的一部分？我不知道，比如排序也算是人工智能，在某种程度上，谷歌甚至在早期，他们就认为自己是一家做谷歌搜索引擎的AI公司，我认为这完全合理。所以，相比其他人，我更倾向于将其视为一个连续统一体。我很难，很难划清界限。

我觉得，好吧，我们现在得到了一个好得多的自动补全功能。现在我们也得到了一些代理，它们有点像这些循环往复的东西，但它们有时会脱离轨道。正在发生的事情是，人类正在逐步减少低级工作。例如，我们不再编写汇编代码，因为我们有编译器，比如编译器会用C语言获取我的高级语言并编写汇编代码。所以我们正在非常、非常缓慢地抽象自己。存在着我称之为自主滑块的东西，即在任何时间点，越来越多的东西都实现了自动化，这些东西是可以被自动化的。而且我们做的越来越少，并将自身提升到自动化之上的抽象层。

主持人Dwarkesh: 强化学习（RL）的一大问题是它的信息非常稀疏。Labelbox可以通过增加你的智能体在每个episode中学习的信息量来帮助你解决这个问题。例如，他们的一位客户想要训练一个编程智能体。因此，Labelbox用一堆额外的数据收集工具增强了一个集成开发环境（IDE），并从他们的对齐网络中配备了一支由专家软件工程师组成的团队，以生成针对训练优化的轨迹。现在，很明显，这些工程师在通过/失败的基础上评估了这些交互，但他们也根据许多不同的维度（如可读性和性能）对每个响应进行了评分。而且他们写下了他们对所给的每个评分的思考过程。所以你基本上展示了工程师采取的每一步，以及他们在工作时拥有的每一个想法。而这只是你永远无法从单独的使用数据中获得的。因此，Labelbox打包了所有这些评估，并包括了所有智能体轨迹和纠正性的人工编辑，供客户进行训练。这只是一个例子。所以去看看Labelbox如何能让你在各个领域、模式和训练范式中获得高质量的前沿数据。请通过labelbox.com斜杠thwarkash联系。

“通过吸管吸取监督”：强化学习的困境与未来

主持人Dwarkesh: 让我们来稍微谈谈Aura。你们两位在这方面做了一些非常有趣的事情。从概念上讲，我们应该如何思考人类仅仅通过与环境互动，就能构建一个丰富的世界模型，并且这种构建似乎与最终奖励无关？如果有人，有人开始创业，并且在10年后，她发现企业是成功还是失败，我们会说她已经获得了大量的智慧和经验。但这并不是因为，过去10年里发生的每件事的对数概率都被上调或下调。发生了一些更加审慎和丰富的事情。机器学习的类比是什么？这和我们现在用其他方法做的事情相比怎么样？

Andrej Karpathy: 也许我会这样说，人类不使用强化学习，也许这就是我一直以来所说的。我认为他们做了一些不同的事情，只是，你经历了... 所以强化学习比我认为的普通人所想的要糟糕得多。强化学习太糟糕了。只是碰巧我们之前所拥有的一切都更糟糕。因为之前，我们只是在模仿别人，所以它有所有这些问题。

所以在强化学习中，假设你正在处理... 你正在解决一个数学问题。这很简单。给你一道数学题，你试图找到一个解决方案。现在，在强化学习中，你会首先并行尝试很多事情。所以当你遇到一个问题时，你会尝试数百种不同的方法。这些尝试可能是复杂的，它们可能是，让我试试这个，让我试试那个，这个没用，那个没用，然后也许你得到了一个答案。现在你查看书后面的答案，然后你看到，好的，正确答案是这个。然后你可以看到，好的，这一个，这一个和那一个得到了正确的答案，但是其他97个没有。所以从字面上讲，强化学习所做的就是找到那些效果特别好的方法。并且你一路所做的每一件事，每一个token都会被赋予更高的权重，比如，多做这个。

这样做的问题是，人们会说你的估计器有很高的方差，但它只是有噪声。它很嘈杂。所以基本上，它几乎假设你所做的、得出正确答案的每一个小小的解决方案都是正确的，但事实并非如此。就像你可能走错了许多条路，最终才找到了正确的解决方案。你所做的每一个不正确的事情，只要你得到了正确的解决方案，都会被加权，鼓励你更多地这样做。这太糟糕了。这是噪音。你做了所有这些工作，只是为了在最后得到一个数字，比如，你做对了。基于此，你将整个轨迹评估为向上加权或向下加权。所以我喜欢这样说，你是在用吸管吸取监督，因为你做了所有这些工作，这可能是一分钟的推出。你就像用吸管吸取最终奖励信号的监督信息。而且你就像把它放进去，你基本上你正在将它广播到整个轨迹上，并用它来提升或降低该轨迹的权重。这太疯狂了。

人类永远不会这样做。第一，人类永远不会进行数百次的发布。第二，当一个人找到解决方案时，他们会有一个相当复杂的审查过程，比如，好吧，我认为我做得好的部分是这些，我做得不太好的部分是这些。我可能应该这样做或那样做。而且他们会仔细思考。目前的LLM（大型语言模型）中没有任何东西能做到这一点。没有与之等价的东西。但我确实看到有论文涌现出来，试图做到这一点，因为这对于该领域的每个人来说都是显而易见的。

所以我觉得，实际上，第一个模仿学习，顺便说一下，非常令人惊讶、神奇和惊叹，我们可以通过模仿人类进行微调。那真是不可思议，因为一开始，我们只有基础模型。基础模型是自动补全。当时我并不觉得这很明显。我必须学习这一点。让我大开眼界的论文是InstructGPT，因为它指出，嘿，你可以采用预训练模型，也就是自动补全。如果你只是在看起来像对话的文本上对其进行微调，模型就会非常迅速地适应，变得非常善于对话。而且它保留了预训练中的所有知识。这让我大吃一惊，因为我不明白，仅仅通过对那种数据进行几次微调循环，它就可以在风格上如此迅速地调整，并成为用户的助手。对我来说，它能够奏效是非常神奇的。如此不可思议。而那就像是两三年左右的工作。

现在轮到强化学习（RL）了。强化学习让你能做得比单纯的模仿学习更好，因为你可以拥有这些奖励函数，并且可以在奖励函数上进行爬山算法。因此，有些问题拥有正确的答案。你可以在此基础上进行爬山算法，而无需模仿专家轨迹。太棒了。并且该模型还可以发现人类可能永远都想不出的解决方案。所以这非常不可思议。然而它仍然很蠢。所以我认为我们需要更多。昨天我看到一篇谷歌的论文，试图体现这种反思和回顾付费的想法。是记忆库论文还是什么？我不知道。实际上我见过几篇类似的文章。所以我预计在那个领域，我们用于大型语言模型的算法会迎来某种重大更新。然后我认为我们需要三到四个或五个更多。类似这样的。

主持人Dwarkesh: 但你如此擅长提出引人入胜的短语。通过吸管吸取监督，这太棒了。为什么没有……所以你的意思是，你认为基于结果的奖励的问题在于，你有一个巨大的轨迹。然后在最后，你试图从那最后一个片段中学习关于你应该做什么以及你应该了解世界的每一种可能的事情。鉴于这是显而易见的，为什么基于过程的监督作为一种替代方案，未能成为使模型更有效的方法？什么在阻止我们使用这种替代范式？

Andrej Karpathy: 所以基于过程的监督仅仅是指，我们不会仅在最后，在你做了10分钟的工作之后才有一个奖励函数，我不会告诉你你做得好还是不好。我会在你做的每一步都告诉你你做得怎么样。这基本上就是我们没有这样做的原因，因为它不是……如何正确地做到这一点很棘手。因为你有部分解决方案，并且你不知道如何分配功劳。所以当你得到正确答案时，这只是与答案的完全匹配。非常容易实现。如果你基本上是在做过程监管，你如何以一种可自动化的方式分配部分信用分配？如何做到这一点并不明显。

我认为很多实验室都在尝试用这些大型语言模型裁判来做这件事。所以基本上你让大型语言模型来尝试做这件事。所以你提示一个大型语言模型，嘿，看看一个学生的部分解决方案。如果答案是这样，你认为他们做得怎么样？他们试图调整提示。我认为这有点棘手的原因非常微妙。而且事实是，任何时候你使用一个大型语言模型（LLM）来分配奖励，这些大型语言模型都是具有数十亿参数的庞然大物，它们是可被博弈的。而且如果你对它们进行强化学习，你几乎肯定会找到你的大型语言模型评判器的对抗性示例。你不能这样做太久。你可能做10步或20步，也许会有效，但你不能做100步或1000步，因为它并不明显。

因为我知道，我明白这并不明显，但基本上模型会找到小的裂缝。它会发现所有这些，在大型模型的角落和缝隙中找到虚假的东西，并找到欺骗它的方法。所以我脑海中一个突出的例子是，我认为，我认为这可能是公开的，但基本上，如果你使用大型语言模型评判器来作为奖励，所以你只需给出学生的一个答案，并询问它学生是否会通过。我们使用强化学习针对该奖励函数进行训练，效果非常好。然后突然，奖励变得非常大。就像是一个巨大的跳跃，并且做得完美。你会觉得，哇，这意味着学生在所有这些问题上都是完美的。这是完全解答的数学题。但实际上发生的情况是，当你查看从模型中获得的补全时，它们完全是胡说八道。它们开始时还可以，然后就变成了，的，的，的，的。所以好吧，让我们算一下2加3，我们这样做，然后这样，然后的，的，的，的，的，的，的。你会觉得，这太疯狂了。它怎么能获得1或100%的奖励呢？你查看大型语言模型（LLM）的判断，结果发现，的，的，的，的，的，是该模型的对抗性示例，它给它分配了100%的概率。这仅仅是因为对于大型语言模型来说，这是一个样本外（out-of-sample）的例子。它在训练期间从未见过它，并且你处于纯粹的泛化领域。对。它在训练期间从未见过它，并且在纯粹的泛化领域中，你可以找到这些打破它的例子。你基本上是在训练大型语言模型（LLM）成为一个提示注入模型。甚至还算不上。提示注入太复杂了。你正在寻找对抗性样本，正如它们被称呼的那样。这些是荒谬的、明显错误的解决方案，但模型认为它们很棒。

主持人Dwarkesh: 所以，如果你认为这是使强化学习（RL）更有效的瓶颈，那么如果你想以自动化方式进行，就需要使大型语言模型（LLM）成为更好的评判者。那么，这是否会像某种生成对抗网络（GAN）式的方法一样，你必须训练模型以使其更具鲁棒性？

Andrej Karpathy: 我认为实验室可能正在做所有这些，比如，好吧，所以显而易见的是，不应该获得100%的奖励。好吧，把这个放入大型语言模型（LLM）评判器的训练集中，并说，这不是100%，这是0%。你可以做到。但是每次你这样做，你都会得到一个新的大型语言模型，它仍然有对抗样本。有无限的对抗样本。而且我认为，如果你迭代几次，找到对抗样本可能会越来越难。但我不能百分之百确定，因为这个东西有一万亿个参数或者更多。所以我敢打赌实验室正在尝试。我实际上没有，我仍然认为，我仍然认为我们需要其他的想法。

主持人Dwarkesh: 有意思。你对其他的想法有什么设想吗？

Andrej Karpathy: 所以就像这样，这种想法，比如，一种复审，一种复审解决方案包含合成样本，这样当你训练它们时，你就会变得更好，并以某种方式进行元学习。而且我认为我开始看到一些论文涌现出来。我现在还只是在阅读摘要的阶段，因为很多论文，你知道的，它们只是想法。需要有人真正地，比如说，在具有完全通用性的前沿LLM实验室规模上实现它。因为当你看到这些论文时，它们突然出现，就像只有一点点嘈杂的声音，你知道的。这是一些很酷的想法，但我还没有真正看到有人令人信服地表明这是可能的。话虽如此，LLM实验室是相当封闭的。所以谁知道他们现在在做什么。但是，

坍缩、记忆与认知核心

主持人Dwarkesh: 所以我想我看到了一个非常，不是容易的，但就像我可以概念化你如何能够训练你自己制作的合成例子或合成问题。但似乎人类还会做另一件事，也许睡眠就是这样，也许白日梦就是这样，不一定是想出虚假的问题，而是，比如说，反思。我不确定机器学习中，你知道的，白日梦或睡眠，或者仅仅是反思，有什么类似的东西。我还没有想到任何问题。很明显，最基本的类比就像是在反射位上进行微调。但我觉得在实践中这可能效果不太好。所以我不知道你是否对这件事的类比有什么看法。

Andrej Karpathy: 我确实认为我们遗漏了一些方面。举个例子，当你在读书时，我几乎觉得目前大型语言模型在读书时，意味着我们扩展了文本序列，模型预测下一个token，并从中获得一些知识。这并不是人类真正做的事情，所以当你在读书时，我甚至觉得这本书不像是应该引起我注意并进行训练的阐述。这本书是一系列提示，用于让我进行合成数据生成，或者让你加入读书俱乐部并与你的朋友讨论。正是通过操纵这些信息，你才能真正获得这些知识。而且我认为我们在大型语言模型方面没有类似的东西。它们实际上并不做这些，但我很想在预训练期间看到某种阶段，它会仔细思考这些材料，并试图将其与它已经知道的东西相协调，并思考一段时间，使其发挥作用。所以这些东西没有等价物。这些都是研究。

有一些微妙的、非常微妙的理由，我认为很难理解为什么它不是微不足道的。所以如果我能描述一个，好吧，我可以综合生成并对其进行训练。好吧，因为每个合成的例子，比如如果我只是给出模型思考一本书的合成生成，你看看它，你会觉得，这看起来很棒。为什么我不能用它来训练？你可以尝试，但如果你继续尝试，模型实际上会变得更糟。那是因为你从模型中获得的所有样本都悄无声-息地崩溃了。它们悄无声息地崩溃了，如果你看它的任何一个单独的例子，这并不明显，它们占据了一个非常小的流形，这个流形存在于关于内容的各种想法的可能空间中。因此，大型语言模型在完成训练后，我们称之为“坍缩”状态。它们具有坍缩的数据分布。

如果你进行采样，一个简单的例子是，去和聊天机器人GPT说，给我讲个笑话。它可能只有大约3个笑话。它没有给你所有可能的笑话。它它只知道大约3个笑话。它们在悄无声息地坍缩。所以基本上，你从这些模型中获得的丰富性、多样性和熵不如从人类那里获得的。所以人类会更加嘈杂，但至少他们没有偏见。至少在统计意义上是这样。它们并非静默地坍缩。它们维持着巨大的熵。那么，你如何在坍缩的情况下使合成数据生成发挥作用？虽然维持熵是一个研究问题。

主持人Dwarkesh: 为了确保我理解正确，坍缩与合成数据生成相关的原因是，你希望能够提出合成问题或反思，而这些问题或反思不在你的数据分布中。

Andrej Karpathy: 我想说的是，假设我们有一本书的一个章节，我让一个名词思考它。它会给你一些看起来非常合理的东西。但如果我问它10次，你会注意到它们都是一样的。

主持人Dwarkesh: 你不能只是不断地扩展，扩展，引号中的“反思”，基于相同数量的提示信息，然后从中获得回报。

Andrej Karpathy: 因此，任何单独的样本看起来都不错，但它的分布非常糟糕。而且它非常糟糕，如果你继续用太多的自己的东西进行训练，你实际上会崩溃。我实际上认为可能没有根本性的解决方案。而且我也认为人类会随着时间的推移而崩溃。我认为这又一次，这些类比出奇地好，但人类会在他们的一生中崩溃。这就是为什么孩子们完全，他们还没有过度拟合。他们会说出让你震惊的话，因为这有点，你可以看到他们的出发点，但这并不是人们会说的事情。因为他们还没有崩溃。但我们已经崩溃了。我们最终会重新思考同样的想法。我们最终会，越来越多地说同样的东西。并且学习率下降，崩溃的情况持续恶化。然后一切都恶化了。

主持人Dwarkesh: 你有没有看过一篇非常有趣的论文，认为做梦是防止这种过拟合和崩溃的一种方式？梦境之所以在进化上具有适应性，是因为它让你置身于奇怪的、非常不像你日常现实的情境中，从而防止这种过拟合。

Andrej Karpathy: 这是个有趣的想法。我确实认为当你在脑海中生成事物，然后你关注它时，你有点像在自己的样本上训练。你在你的合成数据上训练。如果你这样做太久，你就会脱离轨道，并且崩溃得太厉害。所以你总是要在你的生活中寻找熵。所以与他人交谈是熵的一个重要来源，诸如此类。所以也许大脑也建立了一些内部机制来增加这个过程中的熵值。但是，也许这是一个有趣的想法。

主持人Dwarkesh: 这是一个非常不成熟的想法，所以我只是把它说出来，让你来回应它。我们所知的最好的学习者，也就是孩子们，非常不擅长回忆信息。事实上，在童年的最早阶段，你会忘记一切。你会完全失忆，忘记在某个年份之前发生的所有事情。但是你非常擅长学习新的语言并从世界中学习。也许这里面存在某种“只见森林不见树木”的因素。而如果你把它与光谱的另一端进行比较，那就是LLM预训练，这些模型实际上能够一字不差地背诵维基百科页面中的下一个内容。但是他们像孩子一样快速学习抽象概念的能力要有限得多。然后成年人介于两者之间，他们没有童年学习的灵活性，但他们可以，成年人可以以一种对孩子来说更难的方式记住事实和信息。我不知道这其中是否有什么有趣之处。

Andrej Karpathy: 我认为这其中有非常有趣的地方。范围，百分之百。我确实认为，与大型语言模型相比，人类实际上更具有“见树木又见森林”的要素。而且我们其实并不擅长记忆，这实际上是一个特点。正因为我们不擅长记忆，我们实际上被迫以一种更普遍的方式去发现模式。我认为相比之下，大型语言模型非常擅长记忆。它们会背诵所有这些训练来源的段落。你可以给它们完全无意义的数据，比如你可以获取，你可以散列一些文本或类似的东西。你会得到一个完全随机的序列。如果你用它来训练，即使只训练一两次迭代，它也会突然反刍出整个东西。它会记住它。

一个人不可能阅读一串随机数字并背诵给你听。这几乎是一个特性，而不是一个缺陷，因为它迫使你只学习可泛化的组件。然而，大型语言模型会被它们预训练文档的所有记忆所分散注意力。从某种意义上说，这可能非常分散它们的注意力。所以，这就是为什么当我谈论认知核心时，我实际上想移除记忆，这就是我们所讨论的。我希望拥有更少的记忆，这样它们就必须查找东西。而且他们只维护用于诸如思考和实验的想法以及所有这些行动的认知粘合剂的算法。

主持人Dwarkesh: 这也与防止模型崩溃有关。让我再想想。

Andrej Karpathy: 我不确定。我认为这几乎像一个单独的轴。这几乎就像模型在记忆方面太擅长了，我们应该以某种方式移除它。而且我认为人们在这方面差得多，但这是一件好事。

主持人Dwarkesh: 解决模型崩溃的方案是什么？你可以尝试一些非常幼稚的事情，比如逻辑回归的分布应该更宽或者类似的东西。就像你可以尝试很多幼稚的事情。天真的方法最终会遇到什么问题？

Andrej Karpathy: 我认为这是一个很好的问题。你可以想象对熵和诸如此类的东西进行正则化。我猜它们在经验上效果不太好，因为现在模型已经崩溃了，但我想说，我们想要的大多数任务实际上并不需要多样性。这可能就是正在发生的事情的答案。因此，只是模型，前沿实验室正试图使模型有用。而且我感觉输出的多样性并没有那么重要。首先，它更难处理和评估以及诸如此类的事情，但也许这并不是真正抓住大部分价值的东西。

主持人Dwarkesh: 事实上，它受到了积极的惩罚，如果你在强化学习中非常有创造力，那就不好。

Andrej Karpathy: 或者说，如果你正在使用大型语言模型（LLM）进行大量的写作辅助，我认为这可能是不利的，因为这些模型会默默地给你提供几乎相同的内容。所以它们不会探索很多不同的方式来回答一个问题，但我感觉这种多样性可能没那么重要……也许是因为需要的应用不多，所以模型没有，但然后在合成生成时，这实际上是一个问题，等等。所以，通过不允许这种熵在模型中维持，我们实际上是在搬起石头砸自己的脚。而且我认为实验室可能应该更加努力。然后我认为你暗示这是一个非常根本的问题。

主持人Dwarkesh: 这将不容易解决。你对此的直觉是什么？

Andrej Karpathy: 我实际上不知道这是否非常根本。我实际上不知道，我不知道我是否打算那么说。我确实认为……我没有做过这些实验，但我确实认为你或许可以正规化熵，使其更高。所以你是在鼓励模型给你提供越来越多的解决方案。但你不想让它开始过多地偏离训练数据。它会开始创造自己的语言。它会开始使用极其罕见的词语，所以它会过多地偏离分布。所以我认为控制分布就像一个棘手的……就像有人必须……从这个意义上来说，这可能并非易事。

主持人Dwarkesh: 猜测一下，智能的最佳核心最终应该有多少位？我们放在冯·诺伊曼探测器上的东西，需要多大？

Andrej Karpathy: 所以，这在领域历史上非常有趣，因为在某个时候，一切都非常注重规模化，比如，我们要制造更大的模型，数万亿参数的模型。实际上，模型的规模已经上升，现在实际上有点像... 实际上甚至下降了。他们的模型更小了。即便如此，我仍然认为它们记忆了太多的东西。所以我想我之前有一个预测，我几乎觉得我们可以得到认知核心，即使只有10亿参数，也能做得很好。它应该已经... 如果你和10亿参数的模型交谈，我认为在20年后，你实际上可以进行非常富有成效的对话。它会思考。而且它更像人类。但是如果你问它一些事实性的问题，它可能需要查阅一下。但是它知道自己不知道，而且它可能需要查阅一下，并且它会做所有合理的事情。

主持人Dwarkesh: 你认为需要10亿，这实际上令人惊讶……如今，我们已经拥有10亿参数模型或者几个10亿参数模型，它们非常智能。而且，VR模型就像万亿参数，但是它们记得很多东西。但是在考虑到这个速度的情况下，我对10年后会发生什么感到惊讶……好的，我们有GPT，OSS，200亿。这比GPT-4最初的版本好多了，GPT-4的参数超过了1万亿。鉴于这种趋势，我实际上很惊讶你认为10年后，认知核心仍然有10亿个参数。我很惊讶你没想，会变成几千万甚至几百万个参数？

Andrej Karpathy: 不，因为我基本上认为训练数据是……问题是这样的。训练数据是互联网，但互联网真的很糟糕。所以有大量的收益可以获得，因为互联网很糟糕。比如如果你真的……甚至互联网，当我们想到互联网时，你想到的是《华尔街日报》之类的东西，但事实并非如此。当你实际在Frontier Lab查看预训练数据集，并且查看随机的互联网文档时，那完全是垃圾。我甚至完全不知道这是怎么运作的。它是一些像股票代码符号之类的东西。它来自互联网各个角落的大量垃圾和无用信息。它不像极其罕见的《华尔街日报》文章。

所以我几乎觉得，因为互联网太糟糕了，我们实际上必须构建非常大的模型来压缩所有这些。大部分压缩是记忆工作，而不是像认知工作那样。但我们真正想要的是认知部分真正删除记忆。然后，所以我想说的是，我们需要智能模型来帮助我们提炼甚至预训练集，将其缩小到认知组成部分。然后我认为你可以用一个更小的模型来解决问题，因为它是一个更好的数据集，你可以在它上面训练。但这可能不是直接在它上面训练。这可能还是为了一个更好的模型而提炼的。

主持人Dwarkesh: 但为什么提炼后的版本仍然是10亿参数？我想这就是我好奇的地方。

Andrej Karpathy: 我只是觉得知识蒸馏效果非常好。所以几乎每个小型模型，如果你有一个小型模型，它几乎肯定是经过知识蒸馏的。

主持人Dwarkesh: 为什么要训练在...对，不，不。为什么知识蒸馏，在10年后，还没有降到10亿以下？你认为它应该小于10亿参数？

Andrej Karpathy: 拜托，在某个时候，至少应该有10亿个旋钮才能做一些有趣的事情。你认为它应该更小？

主持人Dwarkesh: 就像如果你看看过去几年的趋势，仅仅是找到唾手可得的果实，从像万亿级以上的模型，在两年内规模缩小了两个数量级，却拥有更好的性能。这让我觉得智能的核心可能甚至更小。就像费曼所说的，在底部还有很大的空间可以发挥。

Andrej Karpathy: 我几乎觉得自己在谈论十亿分之一参数的认知核心就已经很反主流了，而你比我还更胜一筹。我觉得，也许我们可以做得更小一点。我仍然认为应该有足够的。也许它可以更小。我确实认为，实际上来说，你希望模型具备一些知识。你不希望它去查阅所有东西。因为那样你就无法在脑海里思考。你一直在查找太多的东西。所以我的确认为需要有一些基础课程来教授知识。但它不应该有深奥的知识。

从自动驾驶到通用人工智能：“九”的行军

主持人Dwarkesh: 人们提出了不同的方法来绘制你实现完全AGI（通用人工智能）的进展程度。因为如果你能提出一条线，那么你就可以看到这条线与AGI的交点，以及这会在x轴上的哪个位置发生。所以人们提出了，这就像教育水平。比如我们有一个高中生，然后他们通过RL（强化学习）上了大学，他们将会获得博士学位。我不喜欢那种说法。或者他们会提出时间范围。所以也许他们可以完成需要一分钟的任务。他们可以自主完成这些任务。然后他们可以自主完成需要一小时、人类一周等等的任务。你如何看待这里相关的y轴是什么？我们应该如何思考人工智能的进展？

Andrej Karpathy: 所以我想我对这个问题有两个答案。首先，我几乎想完全拒绝这个问题。因为再次，我将其视为计算的延伸。我们有没有讨论过如何绘制计算的进展图？或者自20世纪70年代以来，你如何绘制计算的进展图？X轴是什么？所以我有点觉得从这个角度来看，整个问题有点可笑。

但我想说，当人们谈论人工智能以及最初的通用人工智能（AGI），以及OpenAI刚开始时我们是如何谈论它的时候。通用人工智能（AGI）是一个你可以访问的系统，它可以完成任何具有经济价值的任务，任何具有经济价值的任务，达到或超过人类的表现。好的，这就是定义。当时我对这个定义非常满意。我觉得我一直坚持这个定义。然后人们编造了各种其他的定义。但我觉得我喜欢那个定义。

现在，第一点，人们一直做出的第一个让步是他们直接剔除所有物理方面的东西。因为我们只讨论数字知识工作。我觉得与最初的定义相比，这是一个相当大的让步，最初的定义就像人类可以做的任何任务。我可以举起东西等等。显然，人工智能做不到。好吧，可以，但我们会接受的。如果我们说，只有知识工作，那么我们正在剥夺经济的多少份额？我实际上不知道具体数字。我觉得大约是10%到20%，如果我必须猜测的话，只有知识工作。比如有人可以在家工作并执行任务，诸如此类的。我仍然认为这是一个非常大的市场。比如，经济规模有多大？10%到20%是多少？比如我们仍然在谈论几万亿美元，即使在美国也是如此。几乎是市场份额，或者像是工作。所以它仍然是一个非常大的范畴。

所以，但我想回到定义，我想我想要了解的是这个定义在多大程度上是，那么，是否存在一些工作或大量任务？如果我们将任务视为，不是工作，而是任务，那就有点困难了。因为问题在于，社会会根据构成工作的任务进行重构，而这些任务是基于哪些可以自动化或不能自动化的部分。但今天，有哪些工作可以被人工智能取代？最近一个很好的例子是杰夫·辛顿的预测，放射科医生将不再是一种职业。事实证明，这在很多方面都是错误的，所以放射科医生们依然健在，而且数量还在增长，即使计算机视觉在识别图像中他们必须识别的所有不同事物方面已经非常非常出色。而且这是一个非常复杂、混乱的工作，有很多表面工作，需要与患者打交道，以及在这种环境下的各种事情。所以我想，根据这个定义，我实际上并不认为人工智能已经取得了巨大的进展。

但我可能会寻找的一些工作，具备我认为使其比其他工作更早更容易实现自动化的特征。举个例子，呼叫中心员工经常被提及，我认为这是理所当然的。因为呼叫中心员工在当今可自动化方面，拥有许多简化属性。他们的工作非常简单。这是一个任务序列，并且每个任务看起来都很相似。比如你接听一个人的电话，那是10分钟的互动，或者不管是什么，可能时间更长，以我的经验来看，要长得多。你在某种方案中完成一些任务，并且你更改一些数据库条目或类似的东西。所以你不断地重复某些事情，这就是你的工作。所以基本上，你确实希望引入任务范围，即执行任务所需的时间。然后你还希望消除上下文，比如你不需要处理公司不同部门的服务或其他客户。这仅仅是数据库、你，以及你所服务的人。因此它更加封闭，更加容易理解，并且是纯数字化的。所以我会寻找那些东西。

但即使在那里，我还没有真正考虑完全自动化。我在寻找一个自主性滑块，而且我几乎预料到我们不会立即取代人类。我们将替换成能完成80%工作量的AI。它们将20%的工作量委派给人类，而人类则监督由5个AI组成的团队，从事更多死记硬背式的呼叫中心工作。所以我会寻找新的界面或新的公司，它们提供某种层面，让你能够管理一些尚未完美的AI。然后我预计在整个经济领域，很多工作比呼叫中心员工难得多。我想知道放射科医生的情况，我完全是在推测。

主持人Dwarkesh: 我不知道放射科医生的实际工作流程是怎样的。但一个可能适用的类比是，当Waymo首次推出时，会有一个人坐在前排座位上，你只需要让他们坐在那里，以确保如果出现非常糟糕的情况，他们可以在那里进行监控。而且我认为即使在今天，人们仍然在观察以确保一切进展顺利。刚刚部署的无人出租车，实际上仍然有一个人在里面。我们可能处于类似的情况，如果你将一项工作的99%自动化，那么人类必须做的最后1%就非常有价值，因为它正在瓶颈化其他一切。如果放射科医生的情况是这样，那么坐在优步或Waymo前面的那个人必须经过多年的专门训练，才能提供最后的1%，他们的工资应该大幅上涨，因为他们是瓶颈化广泛部署的唯一因素。所以我想放射科医生的工资上涨也是出于类似的原因。如果你是最后的瓶颈，你就应该，你就好而且你不是可替代的，你知道的，一个Waymo司机可能可以被其他东西替代。所以你可能会看到这样的情况，比如你的工资会突然上涨，然后达到98%，然后就像那样。

Andrej Karpathy: 然后最后的1%就消失了。我明白了。

主持人Dwarkesh: 我想知道我们在放射学、呼叫中心员工的薪水或者其他类似的事情上，是否也看到了类似的情况。

Andrej Karpathy: 我认为那是个有趣的问题。我认为我们目前在放射学方面没有看到这种情况，而且，据我所知，我认为放射学基本上不是一个好的例子。我不知道杰夫·辛顿为什么要挑放射学说事，因为我认为这是一个极其混乱、极其复杂的行业。所以，我更感兴趣的是今天呼叫中心员工的情况，例如，因为我预计很多重复性的工作现在都可以自动化了。我没有第一手的资料，但也许我会关注呼叫中心员工的趋势。也许我还会预期他们可能会换用人工智能，但我仍然会等待一两年，因为我可能会预期他们会撤回并重新雇佣一些人。

主持人Dwarkesh: 我认为有证据表明，在采用人工智能的公司中，这种情况普遍存在，这让我感到非常惊讶。

智能爆炸还是持续演进？

主持人Dwarkesh: 这是我应该早点问的问题。所以我们之前讨论过，现在感觉上，当你进行人工智能工程或人工智能研究时，这些模型更像是编译器，而不是替代品。在某个时候，如果你拥有所谓的通用人工智能，它应该能够做你所做的事情。你是否觉得拥有一百万个并行的你，会导致人工智能的巨大加速发展？基本上，如果真的发生了，你是否期望看到智能爆炸？或者即使我们拥有了真正的AGI，我不是在谈论今天的LLM，而是真正的AGI。

Andrej Karpathy: 我想我的确认为会发生，但这和往常一样，因为我们已经处于智能爆炸之中几十年了。当你观察GDP时，它基本上就是GDP曲线。这是一个指数加权总和，涵盖了行业的诸多方面。一切都在逐渐自动化，这种情况已经持续了几百年。工业革命就是自动化以及一些物理组件和工具制造等等。编译器是早期的软件自动化等等。所以我我觉得我们已经递归地自我改进和爆炸了很长时间。

也许看待它的另一种方式是，地球曾经是一个相当... 如果你不看生物力学等等，它曾经是一个相当无聊的地方，我认为，而且看起来非常相似。如果你只是从太空看，地球在旋转，然后我们就像处于这场像鞭炮一样的事件的中间。对。但我们以慢动作看到它。但我确实觉得这件事已经发生很长时间了。并且再次，就像我不认为人工智能是一种与已经发生很长时间的事情相关的独特技术。

主持人Dwarkesh: 你认为它与这种超指数趋势是连续的吗？

Andrej Karpathy: 这就是为什么这对我来说非常有趣，因为我一直在试图在GDP中找到人工智能。我认为GDP应该上升。但是后来我看了一些我认为非常具有变革性的其他技术，比如电脑或手机等等。你无法在GDP中找到它们。GDP是相同的指数增长。举个例子，早期的iPhone没有应用商店，也没有现代iPhone拥有的许多花哨功能。所以即使我们认为2008年iPhone问世是一次重大的剧变，但实际上并非如此。一切都分布得如此分散，扩散得如此缓慢，以至于最终都被平均化为相同的指数增长。电脑的情况也是完全一样。你无法在GDP中找到它们。比如，我们现在有电脑了。事实并非如此，因为这是一个非常缓慢的进展。对于人工智能，我们将看到完全相同的情况。这只是更多的自动化。它允许我们编写以前无法编写的不同类型的程序，但人工智能从根本上来说仍然是一个程序。而这是一种新型的计算机和一种新型的计算系统，但它存在所有这些问题。它会随着时间的推移而扩散，并且仍然会累积到相同的指数级增长。我们仍然会有一个指数级增长，它将变得非常垂直，而且生活在那种环境中会非常陌生。

主持人Dwarkesh: 你是说，将会发生的是，如果你去看，如果你看看工业革命之前的趋势到现在，你会看到一个超指数增长，你从像0%的增长到1万年前的0.02%的增长。然后目前我们达到2%的增长。所以这就是超指数增长。你是说，如果你在上面绘制人工智能的图表，那么人工智能会让你达到20%的增长或者200%的增长。或者你可以说，如果你看看过去300年，你所看到的是一种又一种的技术，计算机、电气化、蒸汽、蒸汽机、铁路等等。但是增长率完全相同。是2%。那么你是说增长率将会……

Andrej Karpathy: 不，实际上，我预计，增长率也大致保持不变，

主持人Dwarkesh: 仅仅在过去的200、300年里。但在人类历史进程中，它就像爆炸一样，它就像从基本上0%增长到更快、更快、更快的工业爆炸，2%。

Andrej Karpathy: 基本上，我想说的是，有一段时间，我试图在GDP曲线中找到人工智能或寻找人工智能。我有点说服自己，这是错误的。即使当人们谈论递归式自我改进和实验室之类的事情时，我甚至不……这也是一切如常。当然，它会递归地自我改进，而且一直在递归地自我改进。就像大型语言模型让工程师们能够更高效地构建下一代大型语言模型一样。而且越来越多的组件正在被自动化和调整等等。所以所有工程师都能访问谷歌搜索是其中的一部分。所有工程师都有ID，所有人都拥有自动补全或云代码等等。这都只是加速整个过程的一部分。所以一切都非常顺利。

主持人Dwarkesh: 但为了澄清一下，您是说增长率不会改变。你知道的，智能爆炸会表现得它只是使我们能够继续保持在2%的增长轨道上，就像互联网帮助我们保持在2%的增长轨道上一样。

Andrej Karpathy: 我的预期是它保持相同的模式。

主持人Dwarkesh: 为了提出与你相反的论点，我的预期是它会爆发，因为我认为真正的通用人工智能（AGI），我不是在说大型语言模型编码机器人，我说的是像实际的，这就像服务器中人类的替代品，与这些其他提高生产力的技术在性质上是不同的，因为它本身就是劳动力，我认为我们生活在一个劳动力非常受限的世界中。就像如果我们和任何创业公司的创始者或任何人都交谈，你可以直接问，好的，你还需要什么？你只需要真正有才华的人。如果你拥有数十亿额外的人，他们发明东西，整合自己，从头到尾地创建公司，这感觉在性质上与仅仅是一项单一技术是不同的。这就有点像问你是否在地球上额外拥有100亿人。

Andrej Karpathy: 也许有一个反驳点。首先，我实际上很乐意被说服，无论朝哪个方向。但我会说，例如，计算是一种劳动。计算曾经是一种劳动。很多工作消失了，因为计算机正在自动化大量的数字信息处理，现在你不再需要人工了。所以计算机是一种劳动。这已经上演了。自动驾驶，作为一个例子，也像是计算机在从事劳动。所以我想这已经在上演了。一切照旧。

主持人Dwarkesh: 我想你拥有一个机器，它能以可能更快的速度吐出更多类似的东西。所以从历史上看，我们有增长模式发生变化的例子，从0.2%的增长率变为2%的增长率。所以在我看来，一台机器能够不断产生下一辆自动驾驶汽车、下一个互联网以及其他任何东西，这是非常合理的。

Andrej Karpathy: 我有点...我明白它的由来。同时，我的确感觉人们会做出这样的假设，比如，好吧，我们把上帝装进了一个盒子里，现在它可以做任何事情了。而它不会是那样的。它将能够完成其中的一些事情。它会在其他一些事情上失败。它将被逐渐地引入社会，并且基本上最终会呈现相同的模式，这是我的预测。因为这种假设，即突然拥有一个完全智能、完全灵活、完全通用的人类在一个盒子里，然后我们可以用它来解决社会中任意的问题。我不认为我们会发生这种离散的变化。所以我认为我们最终会达到同样的，这种技术在整个行业中逐步扩散的情况。

主持人Dwarkesh: 我认为在这些对话中，经常会产生误导的是人们...在这种语境下，我不喜欢使用“智能”这个词。因为智力意味着你的思考方式，超级智能会坐在...会有一个超级智能坐在服务器里，它会像神一样知道如何创造出新技术和发明，从而引发这场爆炸。而这并不是我设想的20%增长的情况。我设想的是有数十亿个，基本上就像非常聪明的人类式思维，有这种可能性。或者说，这就是全部的必要条件。但事实上，有数亿甚至数十亿的个体，他们每个人都在创造新产品，都在思考如何融入经济，就像一个经验丰富、聪明的移民来到一个国家，你不需要考虑如何将他们融入经济一样。他们自己会想办法，他们可以创办公司，他们可以进行发明，或者只是提高世界的生产力。即使在目前的体制下，我们也有一些地方实现了10%、20%的经济增长的例子。如果你只是有很多人，并且与这些人相比资本较少，你就可以拥有香港或深圳，或者其他任何地方，它们都经历了数十年10%以上的增长。

Andrej Karpathy: 所以我觉得，我想我理解了，但我仍然认为你预设了一些离散的跳跃，一些我们等待解锁的东西。突然之间，我们的数据中心里就会出现天才。我仍然认为你预设了一些离散的跳跃，我认为这基本上没有任何历史先例，我在任何统计数据中都找不到。而且我认为这可能不会发生。

主持人Dwarkesh: 工业革命就是一个巨大的飞跃，你从大约0%的增长，0.2%的增长变成了2%的增长。我只是说，你会看到另一个这样的飞跃。

Andrej Karpathy: 我对此有点怀疑。我得好好研究一下。我有点怀疑，我得仔细看看。例如，也许是，一些日志在工业革命之前或者类似的时间点不太好。所以我对此有点怀疑。但是，也许你是对的。我没有，我没有强烈的意见。也许你的意思是说这是一个非常神奇的独特事件。你是说也许还会发生另一次类似的、极其神奇的事件。它会打破范式等等。

主持人Dwarkesh: 我实际上并不这么认为，关于工业革命的关键在于它不是神奇的，就像如果你放大来看，你在1770年或1870年看到的不是有什么关键发明。

Andrej Karpathy: 完全正确。

主持人Dwarkesh: 但与此同时，你确实将经济推向了一种进步更快、呈指数级10倍增长的体制。

Andrej Karpathy: 我预计人工智能也会有类似的情况，不会是我们在某个单一时刻做出了关键发明。仍然有一些待释放的未竟之业。比如可能出现一种新能源。这里有一些释放，在这种情况下，是某种认知能力。还有一些认知工作上的未竟之业。没错。您期望当这项新技术跨越门槛时，这些未竟之业能被它填补。

主持人Dwarkesh: 或许可以从历史的角度来思考，很多增长，增长的出现是因为人们提出了想法，然后人们四处奔波，执行这些想法，并创造有价值的产出。在这段时间的大部分时间里，人口并没有爆炸式增长。这一直在推动增长。在过去的50年里，人们一直在争论增长停滞不前。前沿国家的人口也停滞不前。我认为我们回到了人口和产出的超指数增长。，是人口的指数增长导致了超指数增长和产出。

Andrej Karpathy: 我是说，这真的很难说。我理解那种观点。我并没有凭直觉感受到那种观点。

尤里卡：重塑AI时代的教育

主持人Dwarkesh: 让我们来谈谈尤里卡的教育等等。你可以做的一件事是建立另一个人工智能实验室，并尝试解决这些问题。很好奇你现在在做什么。然后，为什么不做人工智能研究本身呢？

Andrej Karpathy: 我想也许，就像我会表达的那样，我感觉到人工智能实验室正在做的事情存在某种程度的决定论。而且我觉得我可以在那里提供帮助，但我不确定我是否能，比如，独一无二地... 我不确定我是否能，比如，独一无二地改善它。但我认为，比如，我个人最大的恐惧是，很多事情发生在人类的边缘，而人类因此被剥夺了权力。而且我有点，比如... 我关心的不仅仅是我们将要建造的所有戴森球，以及人工智能将以完全自主的方式建造的所有戴森球。我关心人类会发生什么。我希望人类在这个未来过得很好。而且我觉得在这方面，我能比在“前沿实验室”中进行渐进式改进更有价值。所以我最害怕的可能是像《机器人总动员》(WALL-E) 或《蠢蛋进化论》(Idiocracy)之类的电影中描绘的那样，人类某种程度上处在这些事情的边缘。我希望人类在这个未来变得更好，好得多。所以我想，对我来说，通过教育，实际上可以实现这一点。

主持人Dwarkesh: 那么你在那里做什么呢？

Andrej Karpathy: 所以尤里卡正试图构建……我想我能描述它的最简单的方式可能是，我们正试图建造星际舰队学院。我不知道你是否看过《星际迷航》。

主持人Dwarkesh: 我没看过，但是，

Andrej Karpathy: 好的，星际舰队学院是这样一个精英机构，致力于前沿技术，建造宇宙飞船，并培养学员成为这些宇宙飞船的飞行员。所以我只是想象，这是一个技术知识的精英机构，基本上是一所非常先进、非常卓越的学校。

主持人Dwarkesh: 我想问你的一个问题是，如何才能很好地教授技术或科学内容。因为你是这方面的世界级大师。然后我很好奇，你如何思考你在YouTube上已经发布的内容。 但也在某种程度上有所不同，你对尤里卡的想法是怎样的？

Andrej Karpathy: 关于尤里卡，我认为，关于教育，有一件事对我来说非常着迷，那就是，我确实认为有了人工智能的辅助，教育将发生根本性的改变。我认为它必须在某种程度上被重新调整和改变。我仍然认为我们还处于非常早期的阶段。我认为会有很多人尝试做一些显而易见的事情，比如，用一个大型语言模型，问它问题，然后获得，做所有你现在通过提示可以做的基本事情。我认为这有帮助，但对我来说仍然感觉有点马虎，像泔水一样。我想把它做好。而且我认为目前的能力还不能满足我的需求。

我想要的是，像一个真正的导师体验。我脑海中一个突出的例子是，我最近在学习韩语，也就是语言学习。我经历过一个阶段，当时我在网上自学韩语。我经历过一个阶段，实际上是在韩国参加一个小班，和其他人一起学习韩语，这真的很有趣。但我们有一个老师，大约有10个人一起学习韩语。然后我转为一对一辅导。我想让我着迷的是，我认为我有一个非常好的导师。但只是思考这个导师为我做的事情，以及那次经历是多么不可思议，以及最终我想构建的东西的门槛有多高。

因为，她非常，所以她立刻，从一个非常简短的谈话中，就理解了我作为一名学生的水平，我了解什么，不了解什么。她能够准确地探究各种问题或事情，以了解我的世界模型。没有大型语言模型现在能为你做到这一点，100%做不到，甚至差得很远，但如果导师优秀，他们就能做到。一旦她理解了，她实际上真正为我提供了我当前能力范围内所需的一切。我需要始终受到适当的挑战。我不能面对过于困难或过于琐碎的事情。而一位导师真的很擅长为你提供恰到好处的东西。所以，基本上，我觉得我就是学习的唯一约束，就像我自己一样。我是唯一的约束。我总是被给予完美的信息。我是唯一的约束。我感觉很好，因为我就是存在的唯一障碍。不是我找不到知识，也不是知识没有得到适当的解释等等。这只是我的记忆能力等等。这就是我希望人们拥有的。

你如何自动化这个过程？问得非常好。以目前的能力，你无法做到。但我确实认为随着... 这就是为什么我认为现在还不是构建这种AI导师的正确时机。我仍然认为这是一个有用的产品，很多人会构建它。但我仍然觉得门槛太高，而且能力还不够。但即使在今天，我也会说Chargeability（充电能力）也是一个非常有价值的教育产品。但我认为对我来说，看到门槛如此之高，真是太令人着迷了。而且我和她在一起的时候，几乎觉得我不可能建成这个。

主持人Dwarkesh: 但你正在建设它，

Andrej Karpathy: 任何有过真正优秀的导师的人都会想，你要如何建成这个？所以，我想我正在等待那种能力。我确实认为在很多行业方面，例如，我做过一些关于计算机视觉的人工智能咨询。很多时候，我给公司带来的价值是告诉他们不要使用人工智能。不是说我是人工智能专家，他们描述了一个问题，然后我说，不要使用人工智能。这是我的附加价值。而且我觉得现在教育也是如此，我觉得对于我脑海中的东西来说，现在还不是时候，但时机将会到来。但就目前而言，我正在构建一些看起来可能更传统的东西，它具有物理和数字组件等等。但我认为很明显，很明显，未来它应该是什么样子是很明显的。

主持人Dwarkesh: 你认为你愿意说出你希望今年或明年发布的东西是什么吗？

Andrej Karpathy: 所以我正在构建第一门课程，我希望有一门真正、真正好的课程。最先进的，显而易见的最先进的目的地，你去那里学习人工智能，在这种情况下，因为那正是我熟悉的东西。所以我认为这是一个真正好的第一个产品，能够做到非常好。所以这就是我正在构建的东西。你刚才简要提到的NanoChat是LLM 101N的顶点项目，这是我正在构建的一门课。所以这是其中非常重要的一部分。但现在我必须构建大量的中间环节，然后我必须真正地聘请一个小团队，助教等等，并真正地构建整个课程。

也许我还会说一件事，很多时候，当人们想到教育时，他们会想到更柔性的部分，比如传播知识。但实际上我想到了一些非常硬核和技术性的东西。所以在我看来，教育有点像构建通往知识的坡道的非常困难、技术性的过程。所以在我看来，NanoChat是一条通往知识的坡道，因为它非常简单，就像是超级简化的全栈事物。如果你把这个作品给别人，他们浏览一下，他们会学到很多东西。因此，它给你带来了很多我称之为每秒尤里卡时刻的东西，也就是每秒的理解。这就是我想要的。每秒大量的尤里卡时刻。所以对我来说，这是一个技术问题，即我们如何构建这些通往知识的坡道。因此，我总是把尤里卡时刻看作几乎这可能没有那么不同，可能通过一些前沿实验室或即将进行的一些工作，因为我想弄清楚如何非常高效地构建这些前沿的、这些坡道，这样人们就不会被困住。而且一切总是不会太难或太简单。而且你不能，你拥有恰到好处的材料来实际进步。

主持人Dwarkesh: 所以你想象的是短期内，如果你有足够的自我意识来探究自己，而不是由导师来探究你的理解，你永远不会被困住。你可以像在与助教或LLM交谈以及查看参考实现之间找到正确的答案。听起来自动化或人工智能实际上没有那么重要。就像到目前为止，真正重要的alpha是你在课程的源材料中解释人工智能的能力，这就像这门课程的根本。

Andrej Karpathy: 我认为你总是需要根据行业中存在的能力进行校准。而且我认为很多人会追求，比如，直接问ChatCPT等等。但我认为，比如现在，如果你去ChatCPT，然后说，教我人工智能，那是不可能的。它会给你一些粗略的东西，就像当我... 人工智能现在永远不会编写纳米聊天。但我认为纳米聊天是一个非常有用的中间点。所以我仍然... 我正在与人工智能合作来创建所有这些材料。所以人工智能从根本上来说仍然非常有帮助。

早期，我在斯坦福大学创建了一个CS231N课程，这是较早的... 实际上，我认为这是斯坦福大学的第一个深度学习课程，后来变得非常受欢迎。现在建立231N和LLM101N的差异非常明显。因为我感觉现在的大语言模型真的赋予了我力量，但我仍然在循环中。所以它们正在帮助我构建一些材料。我进展得更快。他们在做很多无聊的事情，等等。所以我觉得我开发课程的速度快得多，而且其中融入了那些大型语言模型，但它还没有达到我可以创造性地创作内容的程度。我仍然在那里做这件事。所以我想诀窍始终在于将自己校准到已存在的事物。

教学之道：构建通往知识的坡道

主持人Dwarkesh: 如果你不得不给另一个你感兴趣的领域的教育者提供建议，来制作你所做的YouTube教程，你会怎么说。也许谈论一些领域会特别有趣，在那些领域你不能仅仅通过让他们编写一些代码或者其他方式来测试某人的技术理解能力。你会给他们什么建议？

Andrej Karpathy: 我认为这是一个相当宽泛的话题。我确实觉得基本上有，我几乎觉得有10到20个技巧，我可能半意识地在做。但我猜从更高的层面来说，我总是试图……我认为很多这都来自我的物理学背景。我真的很享受我的物理学背景。我有一大段牢骚，我认为，关于每个人都应该在早期学校教育中学习物理。因为我认为早期学校教育不是为了在以后的行业任务中积累知识或记忆。而是为了启动大脑。而且我认为物理学以独特的方式最能启动大脑。

因为在物理学中，他们让你在你的大脑中做的一些事情在以后会非常有价值。构建模型和抽象的概念，并理解存在一个一阶近似，它可以描述大部分系统。但随后存在二阶、三阶、一阶项，这些项可能存在也可能不存在。并且你观察到一个非常嘈杂的系统，但实际上存在一些你可以抽象出来的基本频率。就像当一位物理学家走进课堂，他们说，假设有一头球形奶牛，然后点，点，点。每个人都为此发笑，但实际上这是很棒的。这是很棒的思考方式，可以在整个行业中推广。因为，在很多方面，奶牛可以近似为球体，我想。

例如，有一本非常好的书，《规模》。它基本上是一位物理学家在谈论生物学。也许这也是我会推荐阅读的一本书。但你实际上可以获得很多非常有趣的近似值和动物的图表比例定律。你可以观察它们的心跳等等，它们实际上与动物的大小等等相吻合。你可以将动物视为一个体积，而且实际上可以推导出很多东西，你可以谈论它的散热，因为你的散热量随表面积增长，表面积以平方增长，但你的热量产生或生成以立方增长。所以我只是觉得物理学家拥有所有正确的认知工具来解决世界上的问题。

因此，我认为由于这种训练，我总是尝试找到一切事物的一阶项或二阶项。当我观察一个系统或事物时，我的脑海中会有一团乱麻般的想法或知识网络。我试图找出真正重要的是什么？什么是一阶组成部分？我该如何简化它？我怎样才能拥有一个简单的东西，它能够真正地展示那个东西，展示一个行动。然后我可以附加其他术语。

也许我某个代码仓库中的一个例子可以很好地说明这一点，它叫做MicroGrad。我不知道你是否熟悉它。所以MicroGrad是用100行代码展示反向传播。它可以，你可以用简单的运算，比如加和乘等等，来创建神经网络。神经网络的乐高积木。你构建一个计算图，然后做一个前向传播和一个反向传播来得到梯度。现在，这是所有神经网络学习的核心。所以MicroGrad是100行预可解释的Python代码。它可以进行前向和后向任意神经网络，但效率不高。所以MicroGrad，这100行Python代码，是你理解神经网络如何训练所需的一切。其他一切都只是效率问题。其他一切都只是效率问题。而且在效率方面还有大量的工作要做。你需要你的张量，你将它们排列好，你对它们进行步进，你确保你的内核正确地协调内存移动等等。大致来说，这一切都只是效率问题。但神经网络训练的核心智力部分是MicroGrad。它只有100行代码。你可以很容易地理解它。你在进行链式求导。它是链式法则的递归应用，用于推导梯度，这使得你可以优化任何任意微分函数。

所以我喜欢找到这些东西，你知道的，那些较小的术语，并将它们呈现在盘子上，然后发现它们。而且我觉得教育是最具智力趣味的事情，因为你有一团理解的乱麻，而你试图以一种创建坡道的方式来铺开它，其中一切都只取决于它之前的东西。而且我发现这种，你知道的，解开知识就像是一种认知任务，在智力上非常有趣。所以我个人很喜欢做这件事，但我只是对试图以某种方式安排事物着迷。也许这能帮助我。

主持人Dwarkesh: 这也让学习体验更有动力。你关于 former的教程从二元语法开始，实际上就像一个查找表，从这里开始是现在的词，或者这里是前一个词，这里是下一个词。而且它实际上只是一个查找表。

Andrej Karpathy: 它的本质就是这样，没错。

主持人Dwarkesh: 这是一种非常巧妙的方式。比如，好吧，从查找表开始，然后到 former，然后每一部分都是有动机的。你为什么要添加那个？你为什么要添加下一个东西？你不可能记住这种注意力公式，但就像理解为什么每一个部分都是相关的，它解决了什么问题。

Andrej Karpathy: 你在提出解决方案之前先呈现痛点。这有多聪明啊？而且你希望引导学生经历这个过程。所以有很多其他类似的小事情，我认为这让它变得更好、更吸引人、更有趣。并且始终提示学生。有很多类似的小事情，我认为它们很重要，很多优秀的教育者都会做。比如，你会如何解决这个问题？比如，我不会在你尝试猜测之前就给出解决方案。那将是浪费。这有点... 我不想说脏话，但如果你还没尝试自己想出解决方案，我就把解决方案呈现给你，这对你来说是一种混蛋行为。

主持人Dwarkesh: 因为如果你尝试自己想出解决方案，我想你就能更好地理解什么是行动空间，以及什么是目标？然后为什么只有这个行动才能实现那个目标，

Andrej Karpathy: 你有机会自己尝试，当我给你解决方案时，你就会心存感激。并且它最大化了每增加一个新事实所获得的知识量。没错，

主持人Dwarkesh: 你认为为什么默认情况下，某个领域的真正专家通常不擅长向正在入门的人解释？

Andrej Karpathy: 这就是知识和专业技能的诅咒。这是一种真实的现象，实际上我本人也深受其害，尽管我努力避免受到它的影响。但是你会理所当然地认为某些事情，并且无法设身处地地为新的……那些刚开始的人着想。这是普遍存在的。这种情况也发生在我身上。

我实际上认为有一件事非常有帮助，举个例子，最近有人试图向我展示一篇生物学论文，我立刻就产生了很多糟糕的问题。所以我做的就是使用ChatGPT来提问，并将论文放在上下文窗口中。然后它解决了其中一些简单的问题，然后我实际上把这个对话线程分享给了分享论文的人，也就是写那篇论文或者参与那项工作的人。我几乎觉得这就像是... 就像如果他们能看到我提出的愚蠢问题，这可能会帮助他们在未来更好地解释它，或者诸如此类。因为，例如，对于我的材料，如果人们分享他们与ChatGPT关于我所创造的东西的愚蠢对话，我会很高兴。因为这真的能帮助我再次设身处地地站在初学者的角度思考。

主持人Dwarkesh: 另一个类似的技巧，效果好得惊人。如果有人写了一篇论文、一篇博客文章或一个公告，那么在100%的情况下，他们午餐时向你解释的方式的叙述或转录，不仅更容易理解，而且实际上也更准确和科学，因为人们倾向于用最抽象、充满术语的方式来解释事物，并在解释中心思想之前清嗓子说四个段落。但是与人一对一交流时，会迫使你直接说出重点。

Andrej Karpathy: 就说出来吧。实际上，我看到了那条推文。我觉得它真的很好。实际上，我和很多人分享了它。我认为它真的很好。而且我注意到这种情况很多很多次。也许最突出的例子是，我记得在读博士期间做研究等等。你读了某人的论文，你努力理解它在做什么等等。然后你抓住了他们，你稍后在会议上喝啤酒，你问他们，所以，比如，这篇论文，比如，你在做什么？比如，这篇论文是关于什么的？他们会直接告诉你这，像是，三句话，完美地抓住了那篇论文的精髓，完全让你理解了它的思想，而且你不需要阅读论文。而且，像是，只有当你坐在桌子旁，喝着啤酒或类似的东西时，像是，这篇论文就是，你采用这个想法，你采用那个想法，然后你尝试这个实验，你尝试那个东西。他们有一种用谈话的方式表达出来的方式。而且，像是，完美地，像是，为什么那不是摘要呢？

主持人Dwarkesh: 没错。这是从试图解释一个想法的人应该如何更好地阐述它的角度出发的。作为一名学生，你对其他学生有什么建议？如果你没有一个像卡帕斯那样解释想法的人，如果你正在阅读某人的论文或阅读一本书，你会采用什么策略来学习你感兴趣的、你不是专家的领域的材料？

Andrej Karpathy: 老实说，我实际上不知道我有什么独特的技巧和窍门。基本上，这是一个有点痛苦的过程。但是，像是，重新起草一份。我认为，有件事一直对我帮助很大，实际上我曾发过一条关于这个的小推文。所以，按需学习挺好的。深度学习。我觉得你需要按需的深度学习和广度学习之间进行一些交替。你正在尝试完成一个特定的项目，并且你会从中获得回报。以及广度学习，也就是，让我们做任何一对一的事情，这里是你可能需要的所有东西。这很像学校。有很多广度学习。比如，相信我，你以后会需要这个的。就是那种东西。好吧，我相信你。我会去学，因为我想我需要它。但我喜欢那种通过做某事实际获得回报，并且按需学习的学习方式。

我发现的另一件非常有用的事情是，也许这是教育中稍微更无私的一个方面。因为向人们解释事情是更深入地学习某件事的美妙方式。这种事经常发生在我身上。我想这可能也会发生在其他人身上。因为我意识到如果我真的不理解某件事，我就无法解释它，你知道吗？我在尝试，然后我就想，实际上，实际上，我不理解这个。承认这一点真是令人恼火。然后你可以回去确保你理解了它。所以它填补了你理解上的这些空白。它迫使你接受它们并调和它们。我喜欢重新解释以及诸如此类的事情。我认为人们也应该更多地这样做。我认为这迫使你运用知识，并确保你在解释时知道自己在说什么。

主持人Dwarkesh: 我认为这是一个很好的结束语。安德烈，太棒了。

Andrej Karpathy: 谢谢。