免费POC, 零成本试错
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


我要投稿

AI教父20年前就揭示了:压缩即学习,压缩即智能

发布日期:2025-11-17 10:51:39 浏览次数: 1543
作者:草台AI

微信搜一搜,关注“草台AI”

推荐语

AI教父20年前就揭示了:美与智能的本质竟是压缩!读懂这个理论,你将获得一个看待世界和自我的全新底层逻辑。

核心内容:
1. 施密德胡贝的"压缩进步驱动"理论框架
2. 美、趣味、艺术与科学的统一解释
3. 大脑作为"压缩机"的运作机制与生活实例

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

AI教父20年前就揭示了:压缩即学习,压缩即智能

为什么有些歌你听几遍就腻了?

为什么你第一眼看到某张脸会觉得“美”?

为什么科学和艺术,都在不约而同地追求“简洁”?

答案可能颠覆你的直觉:美,不是一种客观存在,它只是你大脑学习速度的“奖励”。

我们一直以为,“美”是事物固有的属性,或者“情人眼里出西施”的纯主观。我们以为“好奇心”是探索未知,“新奇”就是信息量大。

但AI教父尤尔根·施密德胡贝(Jürgen Schmidhuber)在20多年前就指出了一个反常识的观点:这些都不是真相。

施密德胡贝的理论——“压缩进步驱动”——提供了一个惊人简洁的统一框架,它能一口气解释:美、新奇、趣味、好奇心、艺术、科学,甚至冷笑话为什么好笑。

读懂这个理论,你将获得一个看待世界和自我的全新底层逻辑。

这个理论的核心,就是 “有趣”等于“学习曲线的陡峭程度”

具体来说,有这四点洞察:

1. 真正的新奇,不是随机: 我们讨厌完全的随机(如白噪音)和完全的可预测(如一片漆黑)。我们只喜欢那些“刚刚被我们学会”的规律。

2. “美”是压缩的结果: 大脑是一个“懒惰”的压缩机。一张脸、一个证明,如果能用更少的信息编码(比如对称、符合原型),我们主观上就觉得它“美”。

3. “有趣”是“美”的导数: 美本身并不一定有趣。一个事物“有趣”,只发生在他“变美”的过程中——也就是你学会压缩它的那个阶段。这就是你“喜新厌旧”的根本原因。

4. 艺术和科学的统一: 艺术家和科学家本质上在做同一件事——创造或发现“新的可压缩性”。科学家找到引力定律(极度压缩),艺术家把不相干的概念用新规律组合起来(眼界大开)。


“懒惰”的大脑,如何定义美?

施密德胡贝的理论,首先推翻了我们对“新奇”和“趣味”的传统认知。

我们被香农的信息论误导了太久,以为“信息量大”=“新奇”=“有趣”。

施密德胡贝指出,这是错的。

想象两个极端:

一个房间,永远漆黑一片。第一秒是可预测的,第一万秒还是可预测的。你的大脑不需要学习,学习曲线的斜率是0。结果是:无聊

另一个房间,电视屏幕上全是白噪音(随机雪花点)。第一秒不可预测,第一万秒还是不可预测。你的大脑永远学不会压缩它,学习曲线的斜率也是0。结果是:同样无聊

看,完全的可预测和完全的不可预测,都是无趣的。

那么“有趣”是什么?

有趣,发生在“不可预测”向“可预测”转化的那个瞬间。

这个转化的过程,就是“压缩进步”(Compression Progress)。

大脑天生就是一台“压缩机”。它不断地试图压缩它接收到的所有数据历史,寻找规律,以便更好地预测未来。

当你突然发现了一个新的规律,能让你用更少的信息来描述过去的数据时——比如,你终于“看懂”了一个复杂的图案,或者“学会”了一段旋律——你的压缩机性能提升了。

这个“压缩机性能提升”的过程,就是“压缩进步”。

而大脑会给这个进步的过程提供“内在奖励”——这股奖励,就是我们主观感受到的“有趣”、“好奇心”和“愉悦感”。


美 = 可压缩;有趣 = 压缩速度

现在我们可以重新定义“美”和“有趣”了。

什么是“美”?

施密德胡贝认为,“美”就是数据的主观可压缩性。

通俗讲,一个东西,在你现在的大脑模型看来,越“简单”、越“有序”、越“能被压缩”,它就越“美”。

为什么很多人觉得“平均脸”或“对称脸”好看?

因为你的大脑已经见过了无数张脸,提炼出了一个“原型”。一张符合原型的脸,或者有简单对称规律的脸,你的大脑编码起来最“省力”——这就是主观的“美”。

为什么数学家觉得一个简洁的证明很“美”?

因为它用更短的描述,压缩了同样的信息。

但关键在于:美,不等于有趣。

一个东西再美,如果你对它了如指掌,它就变得无聊了。

比如一首你听了1000遍的“神曲”。它很“美”(结构简单、旋律好记),但它已经不再“有趣”。

什么是“有趣”?

“有趣”,是“美”的一阶导数。
“有趣”,是“压缩进步”的速度。
“有趣”,是你的学习曲线的陡峭程度。

一件事物最“有趣”的阶段,不是你完全不懂它的时候(太难,无法压缩),也不是你完全懂它的时候(太简单,无需压缩)。

而是你“正在学会它”的那一刻。

这就是“喜新厌旧”的底层机制。

一首新歌,你刚开始抓不住旋律,它“不可压缩”。
听了几遍后,你开始发现它的节奏、和弦走向和重复模式,你“学会了压缩它”。
这个过程,学习曲线最陡峭,“压缩进步”的奖励值拉满。你觉得这首歌“太上头了”。

再过几天,你彻底学会了,大脑已经把它完全压缩。它变得“可预测”,不再提供任何新的“压缩进步”。学习曲线变平,奖励消失。

你,就听腻了。


艺术、科学和笑话的共同点

这个理论最“开悟”的地方在于,它统一了人类最高级的精神活动:艺术与科学。

在施密德胡贝看来,艺术家和科学家,本质上是同一种人。

他们都在不懈地追求“压缩进步”的奖励。

科学家在“发现”已有的可压缩性。

牛顿发现万有引力,就是一次巨大的“压缩进步”。他用一个极其简洁的公式,压缩了“苹果落地”、“行星运行”等海量的观测数据。这种压缩带来的快感是无与伦比的。

艺术家在“创造”新的可压缩性。

一个优秀的艺术家,会把几个看似毫无关联的已知概念,用一种“出乎意料、情理之中”的新规律(比如一种新的风格、一种新的隐喻)强行组合起来。

当你“看懂”一幅画或“听懂”一首诗时,你就是在“压缩”这个新规律。

艺术,就是一种“眼界大开”(eye-opener)的压缩游戏。

甚至“笑话”也是如此。

为什么笑话好笑?

一个好笑话,前面在铺垫一个场景(一个压缩模型),最后“包袱”一响,它提供了一个全新的、更短的、出乎意料的“压缩路径”(比如谐音梗,用“发音”这个新规律强行压缩)。

你“get到”笑点的瞬间,学习曲线陡然上升,大脑奖励了你。

你就笑了。


不只是理论:科技大佬的“压缩共识”

施密德胡贝的理论,并不仅仅停留在心理学和美学。它正在成为当代AI领域最核心的“显学”——智能,就是压缩

今天的科技名人们,正在用行动印证这个观点。

最直白的倡导者是知名黑客、自动驾驶公司comma.ai的创始人乔治·霍兹 (George Hotz)。他多次在播客中明确表示:“无损压缩就是智能”。

在他看来,一个大型语言模型(LLM)的本质,就是对整个互联网文本的“有损压缩”。而真正理解一个事物,就是你能找到它的规律,用更短的模型来描述它。

埃隆·马斯克 (Elon Musk) 则是这个理论的最佳实践者。

分析师们普遍将特斯拉的FSD(完全自动驾驶)视为“压缩即智能”的铁证。2023年,马斯克提到特斯拉用一个更先进的神经网络模型,替换了约30万行基于规则的C++代码。

这30万行代码,是工程师试图穷举“规则”的产物;而那个更小的神经网络,才是真正“压缩”了驾驶本质的智能。

OpenAI的CEO 萨姆·奥特曼 (Sam Altman) 也在从侧面印证。

奥特曼认为AI的突破在于它能学习“产生数据分布的底层规则”。这其实就是“压缩”的同义词——规则,就是对海量数据的极致压缩。奥特曼更关注的,是当这种“压缩”能力(即智能)的成本趋近于零时,将如何改变世界。


尾声:让你的学习曲线,再陡峭一点

施密德胡贝的“压缩进步”理论,给了我们一个关于“人”的深刻洞察。

我们不是在追求享乐,也不是在追求真理。

我们只是一台沉迷于“提高压缩性能”的机器。

好奇心,就是你对“压缩进步”的渴望。

所以,不要再害怕“喜新厌旧”,那是你大脑高速运转的证明。

去寻找那些“似懂非懂”、那些“有点难但学得会”的东西吧。

因为在施密德胡贝的框架下,这才是“有趣”的全部意义——让你的学习曲线,再陡峭一点

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询