我要投稿

大神 Karpathy 说破了大模型的真相：不是智力不够，是垃圾数据太多

发布日期：2026-04-20 07:56:34 浏览次数： 1529

作者：悟鸣AI

微信搜一搜，关注“悟鸣AI”

大家好，我是悟鸣。

Karpathy 最近讲了一个很反直觉的判断：今天的大模型之所以越做越大，未必是因为“思考”本身需要这么多参数，而是因为训练数据太脏、噪声太多。

换句话说，我们现在看到的模型膨胀，未必主要是在为“智力”买单，更像是在为垃圾数据买单。

我们平时一想到互联网内容，脑子里浮现的往往是《华尔街日报》、维基百科、各种严肃文章。

可真实的预训练语料根本不是这回事。研究者从前沿实验室的训练数据里随机抽样，看到的往往是股票代码、坏掉的 HTML、垃圾信息、各种胡言乱语。

有研究估算，Llama 3 的信息压缩率只有 0.07 bits per token。
这意味着，模型对它学过的大部分内容，其实只是模模糊糊记了个影子。

所以今天我们造出上千亿、上万亿参数的模型，不一定是因为我们真的需要一个“上万亿参数的大脑”，而更像是需要一个超大规模压缩引擎，从一整条充满噪声的数据洪流里，硬挤出一点有用智能。

换句话说，模型里大量参数干的可能不是“思考工作”，而是“记忆工作”。

如果这个判断成立，那下一步就不是继续盲目堆参数，而是把“认知”和“记忆”重新分工。

Karpathy 进一步的预测是：应该把这两件事彻底拆开。

一边是“认知核心”，只保留推理、问题求解这些真正和智能有关的算法；
另一边是外部记忆，需要事实时再去查，而不是全都硬塞进模型权重里。

他的判断很激进：如果只用高质量数据训练，一个真正专注认知的核心模型，可能只需要 10 亿参数左右，就能达到相当强的智能水平。

对比一下就更刺激了。
今天的旗舰模型大概在 2000 亿到 1.8 万亿参数之间，而这其中很大一部分权重，可能只是拿来“记住”互联网上大量低质量噪声。

而且趋势已经开始往他这个方向走了。
GPT-4o 大约是 2000 亿参数级别，但整体表现已经超过最初那个 1.8 万亿参数的 GPT-4。
再看成本侧，2022 到 2024 年，达到 GPT-3.5 级别性能的推理成本下降了 280 倍，背后最主要的推动力，几乎就是模型变得更小、更干净、架构更合理。

这也解释了为什么行业的优化方向正在变化。真正值得注意的，不是“大模型不重要”，而是未来模型竞争的重点，可能不再是谁能把参数堆得更夸张，而是谁能把“认知”和“记忆”拆得更干净。

接下来真正拉开差距的，未必是参数规模本身，而是谁能把系统设计做得更聪明。

参考资料：MilkRoad AI on X https://x.com/MilkRoadAI/status/2045484064585728489

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-20

我给了他一个梦想：超越 Claude Code

2026-04-20

深度解析 Claude Code 在 Prompt / Context / Harness 的设计与实践

2026-04-20

AI大家说 | AI落地的实践分享：从大模型盈利到新工作方式

2026-04-20

光会调 API 不够了：推理时计算正在成为 AI 竞争的新战场

2026-04-20

做原型不用Figma了？Claude Design 实测，一句话出交互原型

2026-04-20

十个顶级 Claude Code Skills，装上就不想卸

2026-04-20

跟着Karpathy用 AI 搭一个不会烂尾的第二大脑

2026-04-20

最强编程Agent不是Codex，也不是Claude Code，而是ChatGPT Pro

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

豆包 2.0 模型发布，全信息整理（全网最完整，另附 79 页 Model Card）

2026-02-14

Codex 独立 App 来了，这是一个新东西

2026-02-03

OpenAI 发布新的 Codex 桌面版，我现在不骂 Codex 难用了

2026-02-03

大家都在问

设计行业的“棺材板”，要被Claude Design盖上了？

2026-04-18

当所有人都不写代码了，谁来看懂代码？

2026-04-13

什么场景该用 AI Native？

2026-04-12

12MB的Go二进制，让AI操控浏览器只花800 tokens，PinchTab凭什么这么省？

2026-04-07

华为AI 49元/月！贵？不贵？

2026-04-01

为什么这波 AI 产品都开始抢着做 CLI ？

2026-03-31

Harness Engineering 来了，SDD 还有意义吗？

2026-03-31

OpenAI不会干黄了吧？

2026-03-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部