🤖 Andrej Karpathy：软件正在再次变革

🔄 软件范式的演变：从1.0到3.0

Andrej Karpathy 在 Y Combinator 的演讲中，深入探讨了人工智能时代软件的演变。他指出，软件正在经历一场根本性的变革，这种变革在过去70年中只发生过两次。他将软件的发展划分为三个阶段：

• 软件 1.0：传统的计算机代码，由程序员编写，用于指示计算机执行任务。
• 软件 2.0：神经网络的权重，通过调整数据集和运行优化器来生成，例如图像识别。Hugging Face 类似于软件 2.0 时代的 GitHub。
• 软件 3.0：大型语言模型（LLM），通过提示（prompt）进行编程，而提示本身就是用自然语言编写的程序。

这种演变意味着，我们现在可以用英语来编程计算机。在特斯拉的自动驾驶项目中，C++ 代码（软件 1.0）逐渐被神经网络（软件 2.0）所取代，这预示着一种新的软件范式正在吞噬旧的范式。

💡 软件1.0、2.0与3.0的定义与演进

Karpathy 进一步解释了这三种软件形式的本质：

• 软件 1.0 是计算机可以理解并执行的指令集，是传统编程的基石。
• 软件 2.0 则代表了机器学习的崛起，特别是神经网络，其权重通过大量数据训练而来，无需人工编写具体指令。
• 软件 3.0 的出现，标志着我们进入了一个全新的编程时代，通过自然语言提示来操控大型语言模型，使得编程变得更加直观和普及。

这种转变不仅改变了编程的方式，也扩展了编程的边界，使得更多的人可以参与到软件的创造中来。

⚡ LLM：新时代的电力与晶圆厂

Karpathy 将 LLM 比作新时代的电力和晶圆厂。LLM 实验室（如 OpenAI、Gemini、Anthropic）投入大量资本训练 LLM，这类似于建设电网。然后，通过 API 以计量方式向用户提供智能服务，用户按 token 数量付费。

LLM 具有类似公用事业的特性，例如低延迟、高可用性和一致的质量。就像电力系统中的转换开关一样，Open Router 允许用户轻松切换不同的 LLM。

然而，LLM 也具有类似晶圆厂的特性，因为构建 LLM 需要大量的资本投入和技术积累。LLM 实验室掌握着深厚的技术诀窍和研发秘密。

但 Karpathy 认为，LLM 最贴切的比喻是操作系统。LLM 不仅仅是电力或水，而是一个日益复杂的软件生态系统。就像 Windows、macOS 和 Linux 一样，LLM 领域也存在闭源和开源的竞争。

💻 LLM：一种新型操作系统及其社会影响

Karpathy 深入探讨了 LLM 作为新型操作系统的概念。他认为，LLM 类似于 CPU，上下文窗口类似于内存，LLM 负责协调内存和计算资源以解决问题。

他进一步指出，LLM 应用（如 Cursor）可以在不同的 LLM 上运行，就像 VS Code 可以在 Windows、Linux 和 macOS 上运行一样。

Karpathy 将当前的 LLM 时代比作 20 世纪 60 年代，当时的计算资源非常昂贵，LLM 计算集中在云端，用户通过瘦客户端与之交互。个人计算革命尚未到来，但 Mac mini 可能是个人 LLM 计算的早期迹象。

他认为，直接用文本与 LLM 交互就像通过终端与操作系统交互。GUI 尚未在 LLM 领域普及。

与传统的科技扩散模式不同，LLM 的早期用户是消费者，而不是政府和企业。LLM 正在帮助人们解决日常问题，而不是执行军事任务。

🧠 LLM的认知特性与局限性

Karpathy 深入探讨了 LLM 的“心理学”。他认为，LLM 类似于人类灵魂的随机模拟，具有百科全书式的知识和记忆力，就像电影《雨人》中的自闭症学者一样。

然而，LLM 也存在认知缺陷，例如幻觉、不一致的智能和逆行性遗忘症。LLM 的上下文窗口类似于工作记忆，需要直接编程。

Karpathy 建议观看电影《记忆碎片》和《初恋50次》来理解 LLM 的局限性。LLM 也存在安全风险，例如容易被欺骗和数据泄露。

因此，我们需要同时考虑 LLM 的超能力和认知缺陷，以便有效地利用它们。

🛠️ LLM应用开发：部分自主与人机协作

Karpathy 探讨了 LLM 应用的开发机遇。他认为，许多软件将变得部分自主。他以 Cursor 和 Perplexity 为例，指出 LLM 应用应具备以下特性：

• 上下文管理
• 多 LLM 调用编排
• 应用特定的 GUI
• 自主性滑块

Karpathy 强调，我们需要与 AI 协作，让人类负责验证 AI 的生成结果。为了加速这个循环，我们需要使用 GUI 来加速验证，并限制 AI 的自主性。

他认为，过度自主的 AI 代理可能会产生大量的代码差异，让人类难以审核。他建议以小增量的方式进行 AI 辅助编码，并确保一切良好。

🤖 代理的十年：从完全自主到部分自主产品

Karpathy 引用了一篇关于 LLM 最佳实践的博客文章，强调了保持 AI 在控制之下的重要性。他认为，教育应用应该将 AI 限制在特定的教学大纲和项目范围内。

他以特斯拉的自动驾驶项目为例，指出部分自主产品需要 GUI 和自主性滑块。他回忆起 2013 年体验 Waymo 无人车的经历，并指出即使经过 12 年的发展，自动驾驶仍然面临挑战。

Karpathy 认为，我们正处于代理的十年，需要谨慎地推进 AI 的发展。他将 LLM 应用比作钢铁侠战衣，既能增强人类的能力，又能自主行动。

他建议构建部分自主产品，而不是完全自主的代理。这些产品应具备定制的 GUI 和 UI/UX，以便加速人类的生成验证循环。

🚀 软件的未来：人人都是程序员与代理基础设施

Karpathy 强调，LLM 使用自然语言进行编程，这使得每个人都成为了程序员。他提到了“Vibe Coding”的概念，并分享了一段孩子们使用 LLM 编程的视频。

他自己也尝试了 Vibe Coding，并构建了一个 iOS 应用和一个名为 Menu Genen 的 Web 应用。Menu Genen 允许用户拍摄菜单照片，然后生成菜品的图片。

Karpathy 发现，Vibe Coding 的代码部分很容易，但实现身份验证、支付和部署等功能却非常困难。他认为，我们需要为代理构建基础设施。

他建议使用 lm.txt 文件来描述网站，以便 LLM 更好地理解网站的内容。他还建议将文档转换为 Markdown 格式，并使用 curl 命令替换“点击”等指令。

Karpathy 赞扬了 Versell 和 Stripe 等公司为 LLM 提供文档的举措。他还提到了 Model Context Protocol，这是一种直接与代理通信的协议。

他喜欢那些可以通过更改 URL 来使内容对 LLM 友好的小工具。他认为，我们需要在 LLM 和传统软件之间找到一个平衡点。

总之，Karpathy 认为，现在是进入软件行业的绝佳时机。我们需要重写大量的代码，并为代理构建基础设施。LLM 类似于公用事业、晶圆厂和操作系统。我们需要学会与这些有缺陷但强大的“灵魂”合作，并调整我们的基础设施以适应它们。