我要投稿

大模型语义分析之嵌入(Embedding)模型

发布日期：2024-12-26 11:11:33 浏览次数： 3001

作者：AI探索时代

微信搜一搜，关注“AI探索时代”

“ 嵌入是大模型的基础，而嵌入的底层结构就是向量，而表示方式就是矩阵 ”

嵌入——Embedding，可能有些人了解过这个词，也可能没了解过这个词；但不管怎么说，嵌入在大模型技术中扮演着非常重要的角色；它是很多上层技术的基础。

大模型的底层数学结构是向量，而由于计算机只能进行数值计算；因此向量在计算机中是通过矩阵结构进行表示的，优点就在于计算简单；并且能进行升维和降维操作。

嵌入就是把数据（包括文本，图像，音视频等多种模态的数据）向量化表示的技术！！！

大模型之嵌入——Embedding

今天在研究RAG技术的时候，一直在思考一个问题，嵌入；在RAG的流程中，第一步是文档加载，第二步就是文档切片然后调用嵌入模型把文档转化为向量模式。

所以，这里就产生了一个问题，那就是这个嵌入过程是什么样的？简单来说就是怎么把文本或图片等多种模态的数据，通过嵌入模型转化为向量数据？

嵌入模型不仅仅只是把文本或图片转换成向量模式，还有更重要的一点就是要保证嵌入文本的语义关系。所以，这个都是怎么实现的？

在文档分割的过程中，有一个很重要的环节就是文档切分，文档切分的不同方式直接影响到嵌入向量的语义效果；因此，在RAG中嵌入模型很重要，文档切分也同样重要。

在大模型中，比如以Transformer架构为例，其使用了自注意力机制来保证文档语义的连贯性；但文档数据输入大模型之前，同样必须转化为向量格式的数据才能被大模型所识别，然后进行处理。

但文档在输入大模型之前转换的向量是没有语义关系的；所以，大家是否发现大模型训练和嵌入大模型的区别？

普通大模型训练是学习文档中的语义关系；而嵌入模型是接受一个文档作为输入，然后根据自己习得的参数对文档进行语义转换，然后输出一段有语义关系的向量数据。

而文档中语义之间的关系，经过向量化之后是通过向量之间的数学关系来表示的；比如欧式距离，余弦值等。

关于文档向量化的过程，除了采用嵌入模型之外，还有其它多种方式来实现；比如说，One-Hot独热编码和词袋模型等；只不过热独编码和词袋模型无法保证文档的语义关系，虽然其也构建了词汇表，但每个词都是独立的，没有任何数学上的关系体现。

这篇文章说是介绍嵌入，不如说是自己思考问题的记录；今天看了大半天的嵌入问题，也查了很多资料；但总觉得是在雾里看花，很多问题都不明白，也抓不着重点。

记录几个问题：

嵌入是怎么理解语义的？

大模型是怎么理解语义的？

分块对语义的影响以及原因是什么？

大模型训练的参数与语义理解的关系？

向量矩阵 embedding transformer架构之间的关系是什么？

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-20

13人团队叫板Anthropic：我们造了一个更快更便宜的大模型

2026-06-20

微信左上角长出“两只眼睛”：小微测试版，可能是微信 AI 化最关键的一步

2026-06-20

Agent Skill 管理范式探索：像管理软件包一样管理 Agent 能力

2026-06-18

企业智能体的下半场，如何让智能体越用越聪明？

2026-06-18

你的 Harness 工作流真的在进步吗？我们用一场考试撕掉了遮羞布

2026-06-18

Agent 记忆，我们全都理解错了？

2026-06-18

多 Agent 并行与 Headless 模式：让 Claude Code 效率翻 10 倍

2026-06-17

拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

OpenAI Codex CLI 完整使用指南

2026-04-07

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

GPT5.5来了，最大特点解析

2026-04-24

Claude Opus 4.7 发布，全网最详细解读

2026-04-17

突发！Claude Code 源码泄露，扒出这些隐藏功能

2026-03-31

GPT-6，曝光了

2026-04-05

GLM-5.1 实测：面向 Agent 长程任务的国内第一模型

2026-04-02

重磅！GPT-6曝光了

2026-04-05

大家都在问

企业智能体的下半场，如何让智能体越用越聪明？

2026-06-18

Agent 记忆，我们全都理解错了？

2026-06-18

如何利用 Harness “一句话交付产品功能”？

2026-06-10

Loop Engineering 循环工程又是什么鬼？

2026-06-10

Agent 工程化五件套：Prompt、Skill、MCP、CLI 到底怎么配合？

2026-06-07

为什么云端 Agent 基建这么难？

2026-06-06

当 AI 开始拥有“自主调度权”：Claude 4.8 这个新功能，到底有多可怕？

2026-06-03

哪些活，该交给Claude Code的 /workflows?

2026-06-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw