我把 Karpathy 蒸馏成了 skills

先介绍下，Andrej Karpathy  曾任 Tesla AI 总监、OpenAI 创始团队成员及斯坦福大学博士，以深度学习研究、Neural Networks: Zero to Hero 课程及开源项目闻名。

我是阿东，大模型算法工程师，OPC创业者。

起因

4 月 2 号，Karpathy 在 X 上发了一篇长帖，叫 "LLM Knowledge Bases"。

大意是：你有一个 raw/ 目录，论文、博客、仓库、截图随便扔进去。然后让 LLM 把它 compile 成一个 markdown wiki。再往上叠问答、健康检查、linting。

阿东看到的时候愣了一下。我自己用 Claude Code + Obsidian 搭的内容生产系统也是 raw → wiki → outputs 三层。几乎一个模子。

下期分享如何利用 Claude Code + Obsidian 搭建内容生成系统

但 Karpathy 多走了一步。他讲的是把任何人的知识体系编译成可操作的 wiki。

那我就想：能不能再推一步？不编译知识，编译思维方式。把一个人的思考方式做成一个可以安装到 AI 工具里的 skill。

然后就动手了。。

一个下午的蒸馏

我把 Karpathy 的公开材料过了3遍。不是刷帖子那种看，是按 6 个维度拆开来的：写作、对话、表达风格、外部评价、决策记录、时间线。

25 个以上一手来源。最后凝出来 5 个心智模型、8 条决策启发式、一整套表达风格规则。

塞进了一个 Claude Code Skill。

装好之后的效果是：我在 Claude Code 里说 "用 Karpathy 的视角帮我看看这个问题"，它就不一样了。不是通用 AI 在回答，是按 Karpathy 的思维框架在拆解。

它教我学 Agent

我问它：想理解 agent 系统，怎么入手？

它没扔论文链接。说的是：

别看框架。先从零写一个 agent loop。一个 while 循环，观察 → 思考 → 行动。跑通之后你自然知道框架里那些抽象在干什么。

这是 Karpathy 反复用的方法：micrograd 压梯度下降，microgpt 压 GPT，nanochat 压训练链路。先做一个能在脑子里跑的玩具版。再回到工业规模。

他管这叫 "from-scratch 是最快的理解压缩"。 我自己试了，确实比先啃论文再上手快。

它帮我做科研

我说：有个实验想法，不确定怎么设计评估。

它问了我三个问题：

第一，"更好" 能不能被一个标量度量？第二，失败了能不能便宜地回滚？第三，人类审核点在哪？三个都能回答，就把 agent 放进 loop 跑。回答不了，就保留人类控制权。

这是 Karpathy 的 "自治只能长在紧的回路里"。他 2026 年的 autoresearch 就是这么干的：单文件、单指标、5 分钟 budget。在这个边界内让 agent 跑一夜。出了边界，人接管。

我用这个框架重新设计了自己的实验循环。之前总想一步到位设计完美的自动化方案，现在学会了先把 loop 的边界画清楚，再决定放多少自治进去。

它帮我看趋势

我问：Cursor、Windsurf 这些 AI 编程工具，到底是工具升级还是范式变化？

它直接拉出 Software 1.0 / 2.0 / 3.0：

别看 UI。问一个问题：源码在哪里？人在写 Python，1.0。人在写提示词让模型生成代码，3.0。关键是开发者的工作界面是不是迁了。

这个框架以前我也知道。但自己判断的时候总是滑到 "这个工具挺酷" 就停了。蒸馏进 skill 之后，每次遇到类似问题都会被拉回这个基准：别看酷不酷，看源码迁没迁。

蒸馏过程总结

做完之后我复盘了一下，不一定通用，但对我有效：

多维度交叉验证。 不能只看文章。写作、对话、表达风格、外部评价、决策记录、时间线，至少 6 个维度。单维度容易把 "那篇文章那么说了" 和 "他真那么想" 混为一谈。

提取心智模型，不是观点。 Karpathy 的 5 个模型没有一个绑定在具体技术上。"泄漏抽象优先级" 对训练、agent 设计、产品都适用。"从零构建" 对 transformer 和对任何复杂系统都适用。观点会过时，思考方式不会。

把调研材料一起放进去。 SKILL.md 是提炼结果，references 目录放原始调研。这样 skill 不是裸 prompt，是有来源、可审计的知识工件。

装上之后真的用。 拿它回答问题、做决策、分析趋势。看回答是不是真有那个人的味道，还是鹦鹉学舌。

Karpathy 自己说的 "file over app"，恰好就是这件事的核心：思维方式落在文件里，比封装在 app 里更有传播力。别人的 agent 可以按自己的上下文把它实现出来。

和 Karpathy 知识库的关系

他的系统是 raw → compiled wiki → Q&A → linting。

我的蒸馏流程几乎平行：

• raw = 25+ 个来源的原始调研
• compiled wiki = SKILL.md（心智模型、决策启发式、表达 DNA）
• Q&A = 装好后用它回答问题
• linting = 检查回答是不是真的像

一个区别：他编译知识，我编译思维方式。

知识告诉你 "Karpathy 认为从零实现很重要"。思维方式让你在遇到新问题时自动问：能不能先做个玩具版？

蒸馏的目标不是信息压缩，是认知迁移。

产出

最后得到了一个 GitHub 仓库，adong-skills。

https://github.com/adongwanai/adong-skills

我不确定的

这事是不是对所有场景都有用，我不太确定。蒸馏一个思维型 skill 是重活，25+ 来源、6 维度、完整调研。花一个周末。不是每个人都有这个时间，也不是每个人都值得被蒸馏。

但方向我比较确信是对的。Karpathy 2026 年反复在说：显式 artifact 优先于隐式记忆。 知识、判断、思维方式落在文件里，就比留在脑子里更强。不是更准确，是可以被检查、被迭代、被别人拿去用。

Skills 是这种 artifact 的一种形态。不是唯一的，但是我目前找到的最实用的。