AI 的向量空间里藏着心理学，这是一场嵌入模型的情绪对决

发布日期：2026-07-01 07:09:16 浏览次数： 1512

作者：波动智能

微信搜一搜，关注“波动智能”

文本嵌入技术经历了一次又一次的范式跃迁，最早大家还在用传统的词向量，把词语塞进一个固定维度的空间里，靠统计共现去理解语义。后来 Transformer 横空出世，BERT 让整个 NLP 世界意识到，语义压缩这件事可以做到既精准又灵活。

再往后，指令增强模型开始流行，模型不仅能理解文本，还能理解“你想让它怎么理解文本”。这让文本嵌入从“通用语义压缩器”变成了“可控语义生成器”，能力自然也水涨船高。

但问题来了！文本嵌入这么强，它到底有没有“情绪”？当我们把一个词或一句话丢进模型里，它生成的向量空间里，是否天然包含心理学情绪理论中的结构？比如愉悦、唤醒、支配这些维度，或者愤怒、恐惧、喜悦这些类别，模型能不能在没有专门训练的情况下，把它们隐含在自己的潜在空间里？

这项研究就是冲着这个问题来的，研究团队想搞清楚几件事：第一，文本编码器的潜在空间里到底有没有情绪结构。第二，不同类型的编码器，比如开源的、专有的、指令增强的、任务微调的，它们在情绪任务上的表现有没有差异。第三，这些差异是否与心理学情绪理论本身有关。第四，模型在词级任务和句子级任务上是否呈现不同的能力。

这项研究的意义其实很大，它不仅能告诉我们当前的文本嵌入技术是否已经具备“情绪理解”的基础能力，也能为未来的情绪计算、心理学建模、甚至 AI 情绪智能提供新的基准。尤其是在多模态情绪识别越来越重要的今天，文本嵌入是否能承担情绪理解的底层结构，是一个绕不过去的问题。

研究团队中来自米兰理工大学的 Fabio Ciani，擅长电子与信息工程，是典型的技术派。来自奥地利林茨约翰内斯·开普勒大学的 Harald Schweiger 和 Markus Schedl，一个专注多媒体挖掘，一个深耕人本人工智能，是欧洲计算感知领域的老牌力量。还有来自德国纽伦堡音乐大学的 Emilia Parada-Cabaleiro，她的背景是音乐教育和情绪研究，为这项工作提供了心理学和跨模态的视角。这样的组合让这项研究既有技术深度，又有心理学的理论根基。

01 心理学情绪理论：模型差异与计算需求

如果想研究文本嵌入里的情绪结构，就必须先搞清楚心理学里到底有哪些情绪模型。不同模型的结构差异很大，对计算任务的要求也完全不同。

Ekman 的基本情绪模型是最经典的版本之一，它把人类情绪拆成六种基本类型，分别是愤怒、厌恶、恐惧、快乐、悲伤和惊讶。这种模型的特点是分类式结构，适合做情绪分类任务。它在 NLP 里用得非常广，比如社交媒体情绪分析、舆情监测、客服情绪识别等场景，都喜欢用这种简单直接的类别体系。

Russell 的情绪环形模型则完全不同，它不是分类，而是一个二维连续空间。横轴是愉悦程度，纵轴是唤醒程度。情绪在这个空间里呈现一种环形分布，既能表达强度，也能表达方向。这个模型的优势在于可视化能力强，适合做连续情绪预测，比如心理学实验、用户体验研究等。

图1：管道演示装配和评估程序。所有嵌入都计算一次，并为每个数据集冻结（蓝色部分）。为简单起见，仅针对一个实验（黄色和紫色部分）描述了剩余的控制流，即NRC-VAD的回归任务与语义泄漏预防相结合，并使用KaLM v2作为文本编码器。

Mehrabian 的 PAD 模型进一步扩展了 Russell 的二维结构，加入了支配维度。愉悦、唤醒、支配三个维度组合起来，可以表达更细腻的情绪状态。比如同样是愤怒，支配高的愤怒和支配低的愤怒，在心理学上是完全不同的体验。PAD 模型在情绪计算里很受欢迎，因为它能提供更丰富的情绪表达空间。

Plutchik 的情绪轮模型则是一个更复杂的体系，它有八种基本情绪，每种情绪都有强度变化，而且情绪之间可以组合成新的情绪。比如喜悦和信任可以组合成爱，恐惧和惊讶可以组合成焦虑。这个模型既有分类结构，又有连续强度，还能表达组合关系，是情绪理论里最具表现力的体系之一。

这些模型在 NLP 中的应用并不简单，词语的情绪往往是多义的，同一个词在不同语境下可能表达完全不同的情绪，句子的情绪更复杂，语境、语气、隐含意义都会影响情绪判断。更难的是，文本编码器的潜在空间是高维的，心理学情绪理论是低维的，把两者映射起来本身就是一个挑战。模型到底有没有学到这些情绪结构，是一个需要实验验证的问题。

02 数据集与实验设计：从词到句的多层级评估

如果想知道文本嵌入里有没有情绪线索，最直接的办法就是把不同粒度的文本丢进模型里，看它能不能从词到句都表现出情绪结构。研究团队挑了三个数据集，分别对应三种心理学情绪理论，也覆盖了从单词到完整句子的不同层级。

NRC-VAD 是一个非常经典的词级情绪数据集，它给每个词都标注了愉悦、唤醒和支配三个维度的连续值。这个结构正好对应 PAD 模型，所以特别适合做词级回归任务。模型只要能预测出这三个维度，就说明它的潜在空间里可能真的藏着情绪线索。

NRC-EIL 则更复杂一些，它基于 Plutchik 的八维情绪强度体系。每个词都有八个情绪维度的强度值，这让任务变成了一个多维回归问题。模型不仅要理解词语的基本情绪，还要理解情绪之间的强度关系和组合可能性。这个数据集能很好地检验模型在高维情绪空间里的表现力。

GoEmotions 是一个句子级的数据集，来自 Reddit 评论。它原本有二十七类标签，但研究团队把它映射成 Ekman 的六类基本情绪，再加一个中性类别。这个任务是多标签分类，因为一句话可能同时包含多个情绪。句子级任务的难度更高，语境、语气、隐含意义都会影响情绪判断，所以非常适合检验模型的语境理解能力。

词级数据有一个很大的风险，就是泄漏问题。比如 pleasure 和 pleasurable 这两个词，模型生成的嵌入肯定非常接近。如果一个在训练集，一个在测试集，模型很可能靠“相似词记忆”就能轻松预测，而不是靠真正的情绪理解。语义泄漏也一样，calm 和 peaceful 这种语义相近的词，如果被分到不同的集合，模型就会轻松作弊。

为了避免这种情况，研究团队提出了一个很巧妙的解决方案。他们把所有词语构建成一个语义图，节点是词语，边的权重来自 WordNet 的语义相似度。然后用 Leiden 聚类算法把语义相近的词聚成一类。接下来再把这些聚类分配到不同的数据划分里，确保同一个语义簇不会跨训练和测试。这个方法让模型必须真正理解情绪，而不是靠词形或语义邻近关系混过去。

实验流程也非常清晰，所有文本先通过十二个不同的编码器生成嵌入，然后这些嵌入被冻结，不再更新。接着把这些嵌入输入到四类下游预测器里，包括线性回归、k 最近邻、XGBoost 和多层感知机。每个预测器都经过交叉验证，最终在独立的测试集上评估表现。

回归任务用的指标包括 MSE、R² 和一致性相关系数 Pc，其中 Pc 的公式在研究里写得很清楚。它是一个同时考虑相关性和一致性的指标，公式是

这个公式准确地衡量模型是否真正对齐了情绪维度。

分类任务则用宏平均 F1 来评估，因为多标签任务需要同时考虑不同类别的表现。整个流程既严谨又全面，确保每个模型都在同样的条件下接受检验。

03 文本编码器谱系：开源、专有与指令增强

如果说数据集决定了情绪任务的难度，那文本编码器的选择就决定了模型能不能在这些任务里发挥实力。研究团队挑了十二个编码器，覆盖了当前主流的开源模型、专有模型、指令增强模型和任务微调模型，几乎把整个文本嵌入生态都扫了一遍。

开源指令增强模型是这次实验的主力军，包括 KaLM v2、Qwen3 8B、Linq Mistral、LLAMA Nemotron 8B 和Multilingual E5 Large Instruct。这类模型的特点是能理解指令，也就是说你可以告诉它你想要什么样的嵌入，它会根据任务需求生成更合适的向量。指令增强机制让它们在很多任务上表现得非常灵活。

任务微调模型只有一个，就是 EmbeddingGemma。它不是完全的指令增强模型，而是针对特定任务做了微调，比如分类或语义相似度。这类模型的优势是针对性强，适合特定任务，但泛化能力可能不如指令增强模型。

无指令模型包括 Sentence T5 XXL、Jina v4 和 Nomic v2。这些模型没有指令机制，主要依靠预训练语料的语义结构来生成嵌入。它们在传统任务上表现不错，但在需要任务适配的场景里可能会吃亏。

专有模型则包括 OpenAI Text Embedding v3 Large、Gemini 001 和 Voyage v3 Large。这些模型通常有更大的训练资源和更强的工程优化，但因为不可开源，外界很难知道它们的内部结构。它们在句子级任务上往往表现强势，但在词级任务里未必能压过开源模型。

这些模型的差异主要来自几个关键因素，参数规模是最直观的差异，大模型通常有更强的表达能力，但也更依赖训练策略。训练语料决定了模型的语义覆盖范围，尤其是情绪相关的语料是否充足，会直接影响模型的情绪理解能力。指令增强机制是一个重要分水岭，它决定了模型能不能根据任务需求调整嵌入生成方式。嵌入维度也很关键，高维嵌入能表达更复杂的语义结构，但也可能带来噪声。任务微调策略则决定了模型在特定任务上的专注程度。

整个编码器谱系的构建非常全面，既有开源的灵活性，也有专有模型的工程实力，还有不同训练策略的对比。这让后续的实验结果更有说服力，也让我们能更清楚地看到不同模型在情绪任务上的真实差异。

04 实验结果

当所有模型的嵌入都被冻住之后，真正的较量才刚刚开始。研究团队把这些嵌入丢进不同的预测器里，让它们在词级和句子级的情绪任务上接受检验。结果非常有意思，甚至可以说颠覆了不少人的直觉。

在 NRC-VAD 的词级回归任务里，KaLM v2 几乎是碾压式的领先。无论是愉悦、唤醒还是支配三个维度，它都稳稳站在第一梯队。更关键的是，它在所有预测器里都表现强势，尤其是在多层感知机的组合下，R² 和一致性相关系数 Pc 都达到了非常高的水平。Pc 的公式在研究里写得很清楚，是

这个公式的存在让我们能更准确地判断模型是否真正对齐了情绪维度，而不是只做了表面相关。

更让人惊讶的是，开源的指令增强模型整体表现都比专有模型更好。OpenAI 和 Gemini 的嵌入在词级任务里并没有展现出它们在其他任务中的统治力，反而被 KaLM v2、Qwen3 8B、Linq Mistral 这些开源选手压了一头。这个结果说明，指令增强机制在词级任务里确实有天然优势，它能让模型更好地理解词语的细粒度语义，也更容易捕捉情绪维度。

在预测器的选择上，多层感知机几乎是无敌的存在。它在所有模型上都能挖出更多的情绪线索，表现明显优于线性回归、k 最近邻和 XGBoost。这个现象说明情绪线索在嵌入空间里并不是线性的，而是呈现一种复杂的非线性结构。线性模型只能看到表面，而 MLP 能看到深处。

到了 NRC-EIL 的八维情绪强度任务，KaLM v2 依然稳坐头把交椅，但这次 Linq Mistral 的表现也非常亮眼。它在多个维度上都紧跟 KaLM v2，说明它的指令增强机制同样能在高维情绪空间里发挥作用。

任务微调模型 EmbeddingGemma 在这个任务里反而更有竞争力，它虽然在词级三维任务里不算突出，但在八维任务里表现得非常稳定。说明任务微调策略在复杂情绪结构里能提供更强的针对性，让模型更容易捕捉高维情绪的细节。

专有模型在这个任务里整体落后，它们的表现虽然不差，但明显没有开源指令增强模型那么亮眼。这再次说明，专有模型的优势更多体现在句子级任务，而不是词级任务。

到了 GoEmotions 的句子级分类任务，局势完全反转。Gemini 001 的表现直接拉满，稳居第一。它在多标签分类里展现出极强的语境理解能力，尤其是在 MLP 的组合下，F1 分数明显领先其他模型。

指令增强模型在句子级任务里反而优势不明显。KaLM v2 和 Qwen3 8B 虽然表现不错，但明显不如 Gemini 001 和 EmbeddingGemma。这个结果说明，句子情绪更依赖语境，而语境理解能力往往来自任务微调和专有模型的工程优化，而不是指令增强机制。

下游预测器的影响在句子级任务里依然明显，MLP 继续统治全场，线性回归次之，k 最近邻和 XGBoost 波动较大。这个现象再次证明，情绪线索在嵌入空间里呈现非线性结构，尤其是在句子级任务里更为复杂。

05 潜在空间可视化：情绪结构的可见性

如果说数值指标能告诉我们模型的表现，那潜在空间的可视化就能告诉我们模型到底学到了什么。研究团队用 UMAP 把嵌入降维，让我们能直观看到情绪结构在空间里的分布。

图2：带有颜色编码标签的完整嵌入的UMAP可视化。

在 NRC-VAD 的三维情绪空间里，模型并没有形成非常明显的聚类。愉悦、唤醒和支配三个维度在空间里呈现一种比较松散的分布，尤其是愉悦和支配维度的边界并不清晰。不过唤醒维度的分离度非常高，模型能明显区分高唤醒和低唤醒的词语。这说明模型对情绪的强度变化更敏感，而对情绪的方向变化则更模糊。

在 NRC-EIL 的八维情绪空间里，情况完全不同。正向情绪和负向情绪的分离非常明显，尤其是在指令增强模型的嵌入空间里，情绪簇的边界非常清晰。KaLM v2 的空间结构尤其干净，八维情绪之间的关系呈现出一种非常自然的分布。这说明指令增强机制确实能让模型更好地理解复杂情绪结构。

在 GoEmotions 的句子级空间里，情绪分布呈现一种更复杂的形态。厌恶、恐惧和悲伤这几个情绪的聚类非常明显，它们在空间里形成了清晰的簇。而快乐和惊讶的分布则更散，说明这些情绪在句子里更依赖语境，模型很难用单一的语义结构来表达它们。这个现象也反映了句子情绪的复杂性，语境、语气和隐含意义都会影响情绪的表达。