粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
文章的目标是通过pruning和distillation，将Llama 3.1 8B和Mistral NeMo 12B模型分别压缩到4B和8B参数。总的来说，获得了非常好的结果。
先压缩参数 -> 剪枝。 先计算每层、神经元、头和嵌入维度的重要性，开始剪枝过程。然后，对这些重要性分数进行排序，以计算相应的重要性排名。
判断是否重要，考虑三个不同的指标来评估层重要性：(1) LM dev loss，(2) Block Importance (BI) 和 (3) 下游任务的准确性。
一般开源模型不知道什么数据训练的，所以文中提出了在剪枝和蒸馏之前对教师模型进行微调的步骤，称为teacher correction，用了127B tokens。
至于蒸馏，仅在teacher和student logits 上使用前向 KL 散度损失
是否加teacher correction步骤，差异如下：
Width vs Depth Pruning， 两种变体具有相同数量的参数，但宽度剪枝可以得到较小的初始损失，并始终优于深度剪枝模型。
与随机初始化更小的网络相比，pruning起点明显更低，另外基于蒸馏的训练优于传统训练方法，同时需要更少的训练tokens（下图红线和绿线）
teacher correction不回影响到剪枝的重要性排序，结合蒸馏，可以弥补剪枝从原始权重带来的差距
开头和结尾的layer是最重要的。删除不连续的layer可以获得更好的 LM 验证损失（下图虚线）。但是这个结论在下游任务准确率上不一定稳定成立。
最后文中的总结结论，上面大体上提到了：
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
通俗易懂的梳理MCP的工作流程（以高德地图MCP为例）
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别！
2025-04-30
MCP很好，但它不是万灵药｜一文读懂 MCP
2025-04-30
旅行规划太难做？5 分钟构建智能Agent，集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek，这家公司掀了一体机市场的桌子｜甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密：52页PPT干货，推理成本成最重要因素
2025-04-29
一文说清：什么是算法备案、大模型备案、大模型登记 2.0
2025-04-29
MCP：AI时代的“万能插座”，大厂竞逐的焦点
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28
回到顶部