我要投稿

大神 Karpathy 说破了大模型的真相：不是智力不够，是垃圾数据太多

发布日期：2026-04-20 07:56:34 浏览次数： 1749

作者：悟鸣AI

微信搜一搜，关注“悟鸣AI”

Karpathy 最近讲了一个很反直觉的判断：今天的大模型之所以越做越大，未必是因为“思考”本身需要这么多参数，而是因为训练数据太脏、噪声太多。

换句话说，我们现在看到的模型膨胀，未必主要是在为“智力”买单，更像是在为垃圾数据买单。

我们平时一想到互联网内容，脑子里浮现的往往是《华尔街日报》、维基百科、各种严肃文章。

可真实的预训练语料根本不是这回事。研究者从前沿实验室的训练数据里随机抽样，看到的往往是股票代码、坏掉的 HTML、垃圾信息、各种胡言乱语。

有研究估算，Llama 3 的信息压缩率只有 0.07 bits per token。
这意味着，模型对它学过的大部分内容，其实只是模模糊糊记了个影子。

所以今天我们造出上千亿、上万亿参数的模型，不一定是因为我们真的需要一个“上万亿参数的大脑”，而更像是需要一个超大规模压缩引擎，从一整条充满噪声的数据洪流里，硬挤出一点有用智能。

换句话说，模型里大量参数干的可能不是“思考工作”，而是“记忆工作”。

如果这个判断成立，那下一步就不是继续盲目堆参数，而是把“认知”和“记忆”重新分工。

Karpathy 进一步的预测是：应该把这两件事彻底拆开。

一边是“认知核心”，只保留推理、问题求解这些真正和智能有关的算法；
另一边是外部记忆，需要事实时再去查，而不是全都硬塞进模型权重里。

他的判断很激进：如果只用高质量数据训练，一个真正专注认知的核心模型，可能只需要 10 亿参数左右，就能达到相当强的智能水平。

对比一下就更刺激了。
今天的旗舰模型大概在 2000 亿到 1.8 万亿参数之间，而这其中很大一部分权重，可能只是拿来“记住”互联网上大量低质量噪声。

而且趋势已经开始往他这个方向走了。
GPT-4o 大约是 2000 亿参数级别，但整体表现已经超过最初那个 1.8 万亿参数的 GPT-4。
再看成本侧，2022 到 2024 年，达到 GPT-3.5 级别性能的推理成本下降了 280 倍，背后最主要的推动力，几乎就是模型变得更小、更干净、架构更合理。

这也解释了为什么行业的优化方向正在变化。真正值得注意的，不是“大模型不重要”，而是未来模型竞争的重点，可能不再是谁能把参数堆得更夸张，而是谁能把“认知”和“记忆”拆得更干净。

接下来真正拉开差距的，未必是参数规模本身，而是谁能把系统设计做得更聪明。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-20

没更新Antigravity的先别动，更新了的我先替你们哭一会

2026-05-20

刚发布的Antigravity 2.0：从开发到管理的一跃

2026-05-20

Qwen3.7-Max 重新定义 AI Agent 基座

2026-05-20

直击 Google I/O 2026 | 轰炸式发布 Agent，狙击 Claude Code，开战！

2026-05-20

谷歌一口气发了 20 多个产品，但只想讲一件事

2026-05-20

I/O 2026：欢迎来到智能体 Gemini 时代

2026-05-20

首个Gemini桌面端曝光，系统级Agent空降PC！

2026-05-20

一文看懂 Google I/O 2026：Gemini 3.5领衔谷歌打响智能体和全模态大战

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

OpenAI Codex CLI 完整使用指南

2026-04-07

独家| DeepSeek-V4终于要来了：梁文锋憋半年大招，多模态+长期记忆全面破局

2026-03-17

香港终于能直接用 Gemini 了，内地用户能用上吗？

2026-03-17

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

GPT5.5来了，最大特点解析

2026-04-24

全球首个 AI 进化网络 EvoMap，给 Agent 装上 DNA

2026-02-20

大家都在问

Harness Engineering：AI 能在真正"出事会炸"的后端系统里写代码吗？

2026-05-19

谁来给企业端即将大规模入职的Agent盖办公室？

2026-05-09

鹅厂员工觉得好的code模型应该具备什么能力？

2026-05-09

Markdown要被抛弃了？Claude Code工程师自曝：我已彻底放弃使用Markdown！团队倾向使用HTML！网友：其他编辑工具会被淘汰吗？

2026-05-09

AI吞噬软件的叙事要分化了？

2026-05-08

为什么同一个模型，在 Claude Code/Codex CLI 里感觉像换了个脑子？

2026-05-07

「双线实测」Qwen 3.6-Plus，Agentic Coding 已经这么能「扛活儿」了？

2026-04-26

本体化语义层，会是 AI 数据平台的新地基吗？

2026-04-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部