粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
正常的MOE结构，用到了qk norm
全文61页，细节满满，感兴趣的同学可以自己看。这里简单提一些有意思的点~
1B-7BMOE vs 1B / 7B dense起点更高，终点接近或超过7B全量全参dense的效果
更细粒度的专家组合可以得到更好的训练损失，但是收益递减。（这里提到了很多相关的研究，去做预测最优组合）
共享专家会消除模型的灵活性，让性能更差，与一些历史研究不符
确定哪些专家处理每个输入token ，有2种类型
相同的预算下，TC稳定优于EC
专家是从头初始化，还是从MLP复制得到。实验发现只需要几百B的token，从头开始的模型就赶上了复制的结果，从600B token之后优于复制的结果。
使用负载平衡损失也能带来更好的性能
路由z-loss可以提高MoE模型的稳定性和质量。这个辅助损失会惩罚进入门控网络的大logits
预训练的早期阶段路由就达到了饱和状态
训练结束后，通一层的专家之间不存在强协同激活，也就是说不同专家之间几乎没有冗余
专家对于特定领域和词汇的专业化程度区分度还是比较高的。某些专家可能专门处理一些科学相关的，（如arXiv数据集），而其他专家可能更擅长处理编程语言或一般文本。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
真·开源MCP平台来了！ACI.dev能一站直连600+工具，让你的智能体秒变全能王！
2025-04-30
n8n：免费+开源的自动化神器，比dify更简单，比Make更强大！
2025-04-30
宝藏发现：Sim Studio，一款让AI工作流搭建变简单的开源利器
2025-04-29
我们有必要使用 Qwen3 吗？
2025-04-29
Qwen3开源发布：Think Deeper, Act Faster！社区推理、部署、微调、MCP调用实战教程来啦！
2025-04-29
阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破
2025-04-29
PAI-Model Gallery 支持云上一键部署 Qwen3 全尺寸模型
2025-04-29
Qwen3中性能最强MOE模型部署抛砖引玉 + 实测
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-08-13
2024-12-26
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-21
2025-04-19
2025-04-17
2025-04-15
回到顶部