推荐语

探索AI领域新趋势，超越大语言模型，了解8种不同AI模型的超能力。

核心内容：
1. LLM（大语言模型）及其应用场景和局限性
2. LCM（潜在一致性模型）的特点和优化方向
3. AI模型多样化趋势及其对技术发展的影响

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

2023年，如果你说“AI”，大多数人想到的都是“ChatGPT”。

快进到2025年，局面看起来完全不同了。虽然LLMs（大型语言模型）可能点燃了AI革命，但现在我们正深入一个专用AI模型的时代，每个模型都设计有特定的超能力。

然而， 人们仍然称它们为LLMs。

这就像把每辆车都称为“汽车”，无论它是自行车、卡车还是飞机。当然，它们都能移动，但它们的用途却截然不同。

如果你是一名AI研究人员、初创公司创始人、产品经理，或者只是想跟上技术发展的步伐，理解LLM、LAM、SLM、MoE等之间的区别已不再是可有可无的事情。

它是一种竞争优势。

因此，让我们来分解8种强大的AI模型类型，以及它们真正是为了解决什么问题而设计的。

1. LLM — 大语言模型（Large Language Model）

什么是LLM？

想象一下，你正在和一个超级聪明的朋友聊天，这个朋友可以帮你完成句子、写论文、调试代码，甚至能假装成莎士比亚，这一切都只需一口气。

这基本上就是**LLM（Large Language Model）**所做的事。

LLM是通过海量的文本数据进行训练的，这些数据包括互联网、书籍、文章、代码、推文等，目的是让模型学习语言的运作方式。

他们的目标是什么？预测序列中的下一个词（或标记），基于之前的所有内容。

把它想象成一种增强版的自动补全功能，但不仅仅能完成你的句子，还能写整本书、回答哲学问题，或者构建一个功能网站。

为什么大语言模型（LLMs）如此受欢迎？

近年来，大语言模型成为AI的**代表**，原因有以下几点，

• 对话能力：ChatGPT、Claude、Gemini —— 都由大语言模型驱动。

• 代码与内容：从博客文章到Python脚本，大语言模型能够处理创意和技术任务。

• 通用知识：它们**“知道”**几乎一切，使它们成为优秀的通用工具。

实际应用场景

• 写作和重写内容

• 编程协助和代码生成

• 客户服务聊天机器人

• 集思广益想法

• 语言翻译

• 教育和辅导

但有一个陷阱…

虽然大语言模型似乎很神奇，但它们也有局限性，

• 它们可能会编造（自信地编造信息）

• 它们运行起来计算成本高

• 它们缺乏真正的理解或推理，它们是基于模式进行猜测的

那为什么新的模型类型，专为速度、专业化或更深层次的推理而设计，正在快速出现呢。

2. LCM — 潜在一致性模型

什么是LCM，为什么你应该关心？

想象一下：你正在手机上使用一个AI图像生成器，它能在不到一秒的时间内给你一个清晰的结果，不需要云连接，也不需要大量计算。

这就是**LCMs（潜在一致性模型）**的力量。

与生成文本的LLMs不同，LCMs主要设计用于图像，并且它们在速度、效率和小型设备方面进行了优化。它们是像Stable Diffusion这样的更重的图像生成模型的轻量级 cousin。

将LCMs想象成AI世界的实时引擎，它们被设计成即使在移动设备或低功耗边缘硬件上也能流畅运行。

它们是如何工作的？

LCMs建立在扩散模型的概念之上，这是一类通过逐渐“去噪”随机模式来生成有意义图像的模型。但与需要数十个缓慢步骤不同，LCMs通过学习压缩（潜在）空间中的一致模式来缩短这个过程。

想象画一张脸。普通模型会慢慢画50条线。LCM？只需几笔自信的线条就完成了。

实际应用场景

• 设备端图像生成（想想AI滤镜或虚拟化身）

• AR/VR应用，其中速度至关重要

• 更快的原型工具 为设计师

• 智能相机上的实时视觉增强

本质上，LCMs 是当您希望快速、美观的结果而无需超级计算机时的首选模型。

2025年它们为何重要

我们正进入一个边缘计算的时代，其中设备本地生成内容以实现速度和隐私。LCMs 是这一转变的重要组成部分。

在未来，您的智能眼镜或智能手表可能会使用 LCM 生成和增强图像，全部实时完成。

3. LAM — 语言动作模型

什么是 LAM？

如果一个LLM是你爱聊天的朋友，一个LCM是你快速画画的艺术家，那么一个LAM就是你的智能助手，能够规划、记住并执行任务。

LAM (语言动作模型) 桥接了理解语言和采取有意义行动之间的差距。它不仅仅生成文本，它还能理解意图，记住上下文，并与工具或环境互动。

把 LAMs 想成是AI代理的骨干，这类模型能够帮助自动化任务、操作软件工具，或者规划多步骤行动，比如预订旅行或调试代码。

它是如何工作的？

LAMs 通常结合了，

• LLMs 用于自然语言理解，

• 记忆模块 用于记录过去的动作或输入，

• 计划器 能够分解复杂任务，

• 工具使用 能力来实际执行步骤（例如通过 API 或接口）。

想象一下，你向你的AI提问，“预订飞往东京的航班，比较酒店价格，并设置我的签证预约提醒。”

一个纯粹的LLM可能只会给你一些建议。

一个LAM呢？它会行动，检查日历，查询API，并在后台构建任务流程。

实际应用场景

• AI代理，用于自动化工作流程（例如 Zapier AI、Devin）

• 数字助手，与应用程序和服务进行交互

• 客户支持机器人，解决实际问题，而不仅仅是回复

• 生产力工具，根据指示完成任务

• 机器人技术，通过语言输入控制物理操作

2025年LAMs的重要性

LLM通过理解文本改变了游戏规则。但LAM通过执行任务推动了发展。

在自动化日益增加的世界中，LAMs正在解锁能够跨应用程序工作、理解长期目标并适应变化环境的AI。

想象一个AI，它不仅能起草你的电子邮件，还能发送、跟进并安排会议，所有这些都基于一个提示完成。

4. MoE — 专家混合模型

什么是MoE模型？

想象你提出一个大问题，而你不是从一个通才那里得到答案，而是被引导到一个专家团队，每个专家都精通一个狭窄的领域。

这就是**MoE（专家混合）**模型所做的事。

一个专家混合模型由许多子模型（“专家”）组成，但当一个提示到来时，只有少数专家会被激活，这取决于相关内容。这使得模型可扩展且高效，因为并非每次都会使用每一个专家。

想想就像请最好的外科医生做手术，最好的厨师做饭，最好的机械师修车，所有这些都在一个AI中完成。

运作方式

MoE 使用一个 “路由器”，这是一个智能的内部系统，它根据你的输入决定激活哪些专家。

• 路由器评估输入。

• 它选择前 N 个专家（通常是从 100 多个专家中选 2 个）。

• 只有被选中的专家处理输入并返回输出。

• 这个输出被组合并返回给用户。

因此，你能够获得 针对性的智能，同时 计算开销极低。

实际应用场景

• 大规模高性能 AI（例如 Google 的 Switch Transformer、GShard）

• 高效的云推理 —— 使用更少的资源，输出更快

• 领域专家助手（例如 医学专家 vs. 法律专家）

• 多语言系统 —— 为不同语言配备专家

• 精细的个性化 —— 专家被调优以适应用户行为或任务

为什么在2025年MoE模型很重要

随着AI模型发展到数百亿个参数，计算成本正成为瓶颈。MoE模型提供了一个巧妙的解决方案，你可以在不增加计算负担的情况下扩展模型的宽度。

通过仅激活所需的部分，MoE模型能够在无需为每个查询使用超级计算机的情况下实现性能的大幅提升。

想象一个模型是另一个模型的10倍大，但运行成本却和一半大小的模型一样。这就是MoE的力量。

它们还为更加模块化和可扩展的系统铺平了道路，新专家可以被添加而无需重新训练整个模型。

5. VLM — 视觉语言模型

什么是VLM？

想象一个AI，它看到一张图片，并阅读你的描述或查询，然后能够对两者都有深入的理解。

这就是视觉语言模型（Vision Language Model, VLM）的魔力。这些模型被设计用来同时处理和理解视觉和文本输入。

它们就像AI界的瑞士军刀，结合了视觉模型的感知能力与语言模型的推理能力.

它的工作原理

VLM的核心是一个共享嵌入空间，这是一个特殊的区域，其中图像和文本被映射到相似的**“有意义”**的数值表示中。

这使得模型能够将图像与描述匹配，回答关于视觉内容的问题，甚至能够从图像生成文本，反之亦然。

以下是简化流程，

1. 图像通过一个视觉编码器（如修改后的Transformer或CNN）。

2. 文本通过一个语言编码器（如BERT或GPT）。

3. 两者都在一个共享潜在空间中对齐，以实现跨模态理解。

4. 模型会产生诸如答案、描述、分类等输出。

实际应用场景

• 多模态助手（例如，ChatGPT-4o、Gemini）

• 图像描述生成

• 视觉问答（VQA）

• 能够理解文本和图像查询的搜索引擎

• 辅助工具（例如，为视障用户设计）

• 机器人 —— 利用视觉和指令来理解周围环境

• AR/VR —— 与现实世界进行上下文交互

示例:你上传一张裂开的手机屏幕照片，并问，“这还能用吗？”VLM可以分析图像，理解问题，并给出有帮助的回答。

2025年VLMs的重要性

在一个数字内容日益视觉化的世界中，我们需要超越纯文本能力的模型。VLMs是以下领域的基础：

• 多模态搜索

• 上下文感知代理

• 现实世界感知的辅助AI

它们是连接语言驱动界面和我们所处的以视觉为主的世界的关键，使AI更加直观和人性化。

VLMs 也是具身AI的构建块。能够“看到”、“理解”并“在物理或虚拟环境中行动”的系统。

6. SLM — 小型语言模型

什么是小型语言模型？

尽管LLMs因规模庞大而备受关注，但小型语言模型（SLMs）则在后台默默工作。在你的手机、笔记本电脑，甚至你的智能烤面包机上。

SLMs 是 紧凑、高效的语言模型，旨在在有限的硬件上提供快速、低延迟的响应。

将它们视为 LLM 的极简主义近亲，计算需求较低，但依然表现出色。

它的工作原理

SLMs 通常使用与 LLM 相同的 transformer 架构，但具有 更少的参数 和 优化的推理路径。

• 参数数量：通常在百万级（而 LLM 是十亿级或万亿级）。

• 优化方式：量化、剪枝、知识蒸馏或架构调整。

• 部署场景：边缘设备（手机、物联网设备）、浏览器、本地服务器。

虽然它们可能缺乏 LLM 的深度推理和上下文记忆能力，但其 轻量级的 footprint 使得实时、离线性能成为可能。

实际应用场景

• 设备端聊天机器人（例如，移动虚拟助手）

• 智能家电和嵌入式系统

• 注重隐私的应用（数据从不离开你的设备）

• 开发工具和本地IDE中的代码自动补全

• 在机器人或AR头显中的实时推理

示例: 想象你向智能电视提问，**“像《星际穿越》这样的电影有什么推荐？”_** 然后立即得到答案，而无需调用云端。这就是SLM在发挥作用。

2025年SLM的重要性

随着AI越来越融入日常生活，对低延迟、节能和隐私保护模型的需求正在激增。

SLM能够实现，

• 离线智能 — 没有网络？没问题。

• 数据主权 — 保持敏感数据在设备上。

• 可扩展部署 — 从智能手机到智能电表。

随着Phi-3、TinyLLaMA和苹果传闻中的设备端模型等项目，SLM正进入黄金时代。

“并非所有任务都需要超级计算机。有时候，一台智能计算器就能完成任务。”

7. MLM — 掩码语言模型

什么是掩码语言模型？

在ChatGPT dazzling 世界以流畅的论文和代码生成之前，有BERT，而它带来了掩码语言模型（MLM）。

MLMs 是通过对句子中的随机单词进行掩码，并让模型预测缺失的单词来训练的。这有点像填空谜题，但模型通过这种方式学习对语言的深层双向理解。

与LLMs不同，MLMs会查看整个句子，并推理出空白处应该填什么。

它是如何工作的

假设我们掩码一个句子，例如

“The Eiffel Tower is located in [MASK].”

一个 MLM 会同时使用左右上下文（“埃菲尔铁塔位于……”）来预测缺失的词，例如“巴黎”。

这种方法有助于模型理解，

• 语法（语法和结构）

• 语义（意义和关系）

• 上下文（双向学习）

MLMs 通常先在大规模文本语料库上进行预训练，然后针对特定任务进行微调。

实际应用场景

MLMs 可能并不引人注目，但它们是许多 AI 系统中强大的工作马，

• 搜索引擎（查询与结果的语义匹配）

• 文本分类（垃圾邮件检测、情感分析）

• 命名实体识别（识别名称、日期、组织）

• 向量数据库中的嵌入

• 其他模型类型的预训练

示例:当你搜索“附近便宜的酒店”, 模型理解到“便宜”与价格有关，“酒店”是住宿场所，“附近”则取决于位置。这是由 MLMs 驱动的深度语义解析。

为什么 MLMs 仍然重要

尽管自回归模型（LLMs）迅速发展，但 MLMs 仍然在需要以下功能的场景中表现出色：

• 双向理解

• 强大的上下文表示

• 训练时计算需求较低

它们通常是更大系统的基础，或者在混合方法中使用，例如 BERT 负责表示学习，而 LLMs 负责生成。

此外，它们也在不断发展，像 RoBERTa、DeBERTa 和 E5 这样的模型为不同任务提供了优化的变体。

“掩码语言建模就像学习在行之间阅读并预测这些行实际上说了什么。”

8. SAM — 分段任何模型

SAM 是什么

由 Meta AI 开发的 Segment Anything Model (SAM) 是 计算机视觉 领域的一项重大突破。

与仅能分类或检测整个物体的模型不同，SAM 进行分割，这意味着它能在图像中精确地绘制出每个物体的轮廓，即使是它从未见过的物体。它不只标注“猫”或“狗”。它能以像素级的精度理解它们的形状、边界和位置。

想象将一张照片输入模型，立刻就能得到每个物体都被整齐裁剪出来。这就是SAM的魔力。

SAM 的工作原理

SAM 的核心是可提示的分割。你给它一个提示（一个点、一个框或一个掩码），它就会返回你所指对象的精确分割部分。

它使用，

• 一个视觉Transformer作为主干来处理图像

• 一种基于嵌入的方法来比较视觉特征

• 一个快速的分割解码器，可以即时输出掩码

这里有个关键点。它可以分割任何东西，即使它没有被显式地训练过该对象类别。

它不仅被训练成“知道”什么是一只猫。它被训练成“看到”视觉空间中的任何物体。

实际应用场景

SAM 正在多个行业中引起轰动，

• 医学成像：在扫描中以手术精度识别肿瘤或器官

• 增强现实（AR）：实时对象检测和掩码

• 机器人技术：帮助机器理解并与其环境互动

• 视频编辑：即时背景移除，对象隔离

• 科学研究：在显微图像中分割细胞或在卫星图像中分割物体

示例: 一名医学研究人员只需在脑肿瘤附近点击一下，就能在MRI扫描中分割出肿瘤。无需手动勾勒。无需训练。这就是SAM发挥作用的地方。

SAM为何重要

分割一切，而不仅仅是已知类别——开启了AI视觉的新范式。

• 零样本泛化（适用于未见过的对象）

• 快速且交互式（实时或近实时）

• 模块化（可以与其他模型如VLMs或LAMs结合使用）

它就是乐高积木般的视觉AI。可插拔、灵活且极其强大。

SAM已经集成到更大的多模态系统中。当与VLMs（如GPT-4o或Gemini）结合使用时，你可以得到能够看见、理解并行动的模型，使其成为下一代AI代理的重要组成部分。

小贴士

虽然SAM专注于纯粹的视觉分割，但你可以将其与语言模型或动作模型结合，创造出强大的视觉代理，例如一个能够看到物体、理解其是什么并将其拿起的机器人。

总结

让我们退一步来看。

从LLMs撰写论文，到SLMs驱动手机上的聊天机器人，再到SAM逐像素地解析图像，AI领域远不止是“语言模型”那么简单。

每种模型类型 —— LLM, LCM, MoE, LAM, VLM, SLM, MLM, SAM —— 都是AI工具箱中的工具，专门针对其领域，设计有特定的能力。

那么， 重点是什么？

• 根据任务使用合适的模型，并非所有任务都需要LLM。

• 理解差异，架构决定了应用方式。

• 系统思维，而非孤岛思维，未来是多模态、多代理且高度专业化的。