粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。
在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。
Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。
缺点：
Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。
从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。
缺点：
维特比算法能做到全局最优。
Top-K采样限制在一定数量要考虑的tokens。
在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。
Top-p采样限制在一定概率质量内的tokens。
其作用如下：
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
MCP入门指南：大模型时代的USB接口
2025-04-30
通俗易懂的梳理MCP的工作流程（以高德地图MCP为例）
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别！
2025-04-30
MCP很好，但它不是万灵药｜一文读懂 MCP
2025-04-30
旅行规划太难做？5 分钟构建智能Agent，集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek，这家公司掀了一体机市场的桌子｜甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密：52页PPT干货，推理成本成最重要因素
2025-04-29
一文说清：什么是算法备案、大模型备案、大模型登记 2.0
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28
回到顶部