AI 不一定比人聪明,但它的错误比人的错误更危险
最近看到几家大型科技公司接连出现大面积服务故障的新闻,包括微软的服务中断。故障的真实原因我并不知道,官方说明也未必和代码有关。但我的第一反应是:会不会是代码出了问题?
这个联想不是凭空来的。过去一段时间,我自己的项目里越来越多的代码是由 Coding Agent 写出来的。一天几万行,我根本没有时间逐行 review。被创造出来的代码量,已经远远超过了一个人脑能够覆盖的范围。
这件事让我重新去想一个被讨论得很多、但可能问错了方向的问题:AI 到底比人聪明吗?我的看法是,AI 不一定比人聪明,但它犯错的方式和人不一样,而这种不一样,才是真正值得担心的地方。
我曾经如何理解 AI 的优势
我一开始对 AI 的判断很简单:它未必拥有比人更高级的原始智慧,但它有几样东西是任何个人都没有的。
- 记忆(Memory):能存储和调用远超个人的知识。
- 算力(Compute):能在极短时间内处理大量信息、建立关联。
- 规模(Scale):同一个模型可以同时服务几百万、几千万甚至更多用户。
- 一致性(Consistency):在相似输入下,保持相对稳定的分析模式,不受情绪、疲劳和个人经历影响。
有了这四样东西,AI 在思考的深度、广度和速度上的不足,可以被算力和记忆弥补。它看起来会比一个具体的人聪明很多。
这个判断到今天我仍然觉得大体成立。但它有一个我当时没有看清的推论:这四个优势里,没有一个是关于"正确"的。 它们都是关于"多""快""广"和"稳定"。一个模型可以用同样的速度和规模,把一个正确的判断推给所有人,也可以把一个错误的判断推给所有人。
一个工程现场的信号
真正让我意识到问题的,是写代码这件事本身。
人写代码的时候,大量的时间其实花在一些很细微的抉择上:这里该抽象成一个通用模块,还是先简单写死?这个边界条件是现在处理,还是留给调用方?这些抉择单看都不大,但它们决定了一个项目几年后长成什么样。
Agent 很难权衡这些细微决策。我们给它的规则有一大堆,可是规则与规则之间总是有冲突的。今天在这个场景里规则 A 应该压过规则 B,明天在另一个场景里可能正好相反。而我们不可能把所有变量都写进规则,也不希望每一个细微决策都要有人来参与。更麻烦的是,即使有人参与,一个对项目缺少了解的工程师给出的决定,也不一定是适合的。
于是会出现这样一条链:
一个细微的、没有被充分权衡的决策 → 被写进代码 → 随着项目 scaling 被更多代码依赖 → 原来细微的问题变成结构性的问题。
自动化测试也救不了全部。那么多的测试,实际上只能覆盖到人能够感觉到的那一层界面,覆盖不到所有内部路径。让 Coding Agent 来查自己的问题,确实能查出很多,但也一定会漏。而漏掉的,往往正是那些当时看起来不重要、后来发展成大问题的东西。等到它们暴露出来,修复的工作量已经远远超过了人能修的地步。
写到这里,我想说的其实已经不是代码了。代码只是我能亲眼看到的一个现场。
人的错误和 AI 的错误,差别在哪里
一个人犯错,他的影响范围通常受他的知识、职位、社会关系和影响力限制。一个工程师写错一段代码,影响的是一个项目;一个分析师判断错一个行业,影响的是读他报告的人。
当然有例外。一个国家领导人的错误判断,同样可能是致命的。但即便如此,这类错误也有几个特点:它是可见的,大家知道是谁做的决定;它有周期,任期、选举或者接班会让它有被纠正的机会;它会遭遇反对,体制内外总有人持不同意见。人类社会花了很长时间建立起来的制度,很大一部分就是为了约束"一个人的错误影响太多人"。
一个主流 LLM 的错误不是这样的。同一个模型可能同时在:
- 帮企业制定战略;
- 帮投资机构分析市场;
- 帮政府部门起草政策分析;
- 帮媒体生成新闻和评论;
- 帮几亿个人获取信息、形成对经济和社会的认知。
如果这些输出都建立在同一种偏差之上,我们看到的就不再是"一个人的错误",而是同一种错误以极低的边际成本,被复制到了整个社会的不同角落。 更关键的是,这种错误没有名字,没有一个明确的责任人,使用者甚至不知道自己拿到的判断是有偏的。
把这个问题压缩一下,我觉得危险真正来自三个条件同时出现:
- 集中(Concentration):大量用户依赖少数几个模型。
- 相关(Correlation):这些模型共享相似的训练数据、对齐方法,因此共享相似的偏差。
- 传播(Propagation):模型的输出又成为其他模型、其他系统的输入。
三者单独出现都不致命。三者叠加,就是系统性风险。
一致性:优势还是风险?
在前面列的四个优势里,我最想单独拿出来说的是一致性。
人的错误是有噪声的。一百个人判断同一件事,会错在不同的方向,错误会互相抵消一部分。这也是为什么市场、陪审团、同行评审这些机制能够工作:它们依赖的不是每个人都正确,而是每个人的错误彼此独立。
AI 的错误没有这种噪声。同一个模型面对相似的输入,会稳定地给出相似的输出。这在它正确的时候是巨大的优势,在它错误的时候就变成了"稳定地重复同一个错误"。一千个用户拿到的不是一千种有分歧的判断,而是同一个判断的一千份复印件。
然后是反馈循环。今天 AI 生成的报告、文章和代码,会成为明天的训练数据、检索资料和决策依据。一个偏差被输出,被引用,被再次输入,再被输出。回到代码的例子:Agent 生成的代码会被后续的 Agent 读到,并当作"这个项目的最佳实践"去模仿。错误不只是被复制,还会被强化。
哪一种错误更难纠正
有人可能会反过来问:AI 的错误一旦被发现,不是可以一次性修复、全面推送吗?这比纠正一个人的错误快得多。
这是真的,也是我认为必须承认的反面因素。模型的可更新性,确实是人类决策者不具备的优势。
但它有两个前提。第一,错误要先被发现。而 AI 错误最大的特点恰恰是难以发现:它分散在无数输出里,没有归责主体,每一份输出单看都是合理的,只有汇总起来才能看到方向性的偏移。第二,发现之后要能够回滚。代码还能 git revert,但已经依据偏差制定的战略、已经发表的研究、已经形成的公众认知,是回滚不了的。
所以我的判断是:AI 的错误不是不能修,而是在它被发现之前,已经扩散得太广,而扩散出去的那部分,大多没有撤回键。
这个经验的边界
我需要说明,上面的观察来自写代码这个相当特殊的场景。
代码至少还有编译器、测试和线上报错作为反馈。一个错误再隐蔽,迟早会以某种形式暴露出来。而在投资分析、政策研究、公共舆论这些领域,连这样的反馈都没有。一份有偏的研究报告不会"报错",一个有偏的宏观判断也不会"编译失败"。从这个角度看,代码领域的问题反而是整个问题里最容易被看见的那一部分。
另外,我也不认为 AI 的错误率一定比人高。很可能恰恰相反。这篇文章讨论的不是错误率,而是错误的结构:一个错误影响多少人、多久才被发现、发现之后还能不能收回。
结语:问题不是 AI 会不会错
回到开头那几则故障新闻。它们是不是由 AI 生成的代码引起的,我不知道,也不重要。重要的是,我们已经进入了一个代码量、分析量、信息量都超过人脑覆盖范围的阶段,并且把越来越多的判断交给了少数几个模型。
在这个阶段,"AI 会不会犯错"已经不是一个有意义的问题。它会,人也会。真正的问题是:它犯错的时候,会影响多少人,多久会被发现,以及还修不修得回来。
而一旦接受这个框架,下一个问题就绕不开了:当一个模型面对的是本来就有争议、不同人群答案不同的问题时,谁来决定它应该给出什么判断?这个边界由谁来定义,比模型本身聪不聪明重要得多。