我要投稿

聊聊大模型采样策略

发布日期：2024-07-26 06:57:40 浏览次数： 2661

贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。

在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。

Greedy search

Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。

缺点：

由于每次都是寻找概率最高的词，因此很有可能会错过当前是低概率词后面的高概率词。即，只考虑当前的局部最优，而没有从整体的角度来考虑。

Beam search

Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。

从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。

缺点：

还是会产生局部最优问题。
在某些需要多样性的应用场景中，Beam Search可能会生成较为相似的答案，因为它倾向于选择评分最高的候选答案，这可能导致答案的多样性不足。

维特比算法能做到全局最优。

top-k采样

Top-K采样限制在一定数量要考虑的tokens。

在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。

top-p采样

Top-p采样限制在一定概率质量内的tokens。

temperature

其作用如下：

温度不是采样策略，而是softmax函数的参数，该函数是网络的最后一层。
温度影响概率分布的形状。
高温使token分布概率更加接近，也就是概率较低的token可能会出现。这使得输出更加“有创意”或随机。
低温通过放大概率差异使模型更加“确定”。这使得输出更具确定性。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-16

GPT‑5-Codex 发布：OpenAI 的 Claude Code

2025-09-16

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

Subagents：构建高可靠 AI Coding 专家顾问团

2025-09-16

Agent三大痛点：知识库+工作流+Prompt工程

2025-09-16

Anthropic发布首个AI经济指数报告:越富越用AI,企业比个人更信任AI

2025-09-16

Claude Code与GitHub结合使用的实践指南

2025-09-16

企业复杂Agent落地的12个工程化原则 | 原则二：构建Prompt工程可扩展、可维护、可调试、可回滚 | 提示词A/B实验

2025-09-16

OpenAI深夜放出「编程核弹」：GPT-5-Codex 正式发布，能独立爆肝7 小时

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

豆包又在偷偷进步！超能创意2.0内测，语意理解能力追平FLUX Kontext

2025-07-04

大家都在问

Qwen3-Coder与Claude Code深度对比：谁是你的AI编程助手？

2025-09-14

阿里推出夸克医疗大模型：医考70%高分背后，RAG为何是“压舱石”？

2025-09-12

AI市场调查实战：如何让AI帮你搜全网特定规格的产品？

2025-09-11

Embedding-审核场景下都可以在哪里应用？

2025-09-11

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

观察 | 面临经济下行和AI的双重冲击，企业顾问如何突破困局？

2025-09-08

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB