我要投稿
微信搜一搜，关注“猜想笔记”
1. **模型简介**：
- Index-1.9B系列是轻量级的语言模型。
- 包含`Index-1.9B base`、`Index-1.9B pure`、`Index-1.9B chat`和`Index-1.9B character`等模型。
- 模型已在HuggingFace和ModelScope上开源。
2. **预训练**：
- 模型在2.8T的数据上训练，涵盖中英文等多种语言。
- 数据经过清洗，包括避免偏置和去重。
- 使用SentencePiece训练BPE Tokenizer，特别针对中文进行了优化。
3. **模型架构**：
- 与主流的Decoder-Only Transformer模型一致，进行了一些调整，如更深的模型层数（36层）和Norm-Head机制。
4. **训练过程**：
- 使用AdamW优化器，两阶段训练策略（Stable和Decay阶段）。
- 训练基建使用了自研训练框架和华为昇腾910B卡。
5. **评测**：
- 使用OpenCompass框架进行评测，包括综合性选择题、理解和推理、数学和代码评测。
6. **讨论和实验**：
- 探讨了模型结构、学习率、预训练中是否加入指令等因素对模型性能的影响。
- 进行了消融实验，分析了不同组件对模型性能的贡献。
7. **对齐**：
- 通过SFT（Supervised Fine-Tuning）和DPO（Direct Preference Optimization）进一步优化模型，以符合人类偏好。
8. **角色扮演**：
- 利用RAG（Retrieval-Augmented Generation）技术，实现few-shot角色扮演定制。
9. **局限性**：
- 尽管采取了合规性检测，但模型可能存在未预料到的问题，使用时需注意潜在风险。
以上由Kimi总结，0 shot。原文档字有点小，凑合看吧。在公众号后台回复“B站”获取原文档。
//
END.
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
2025-07-30
WAIC-Day3: 谈谈Agent场景及Agent OS基础设施
2025-07-30
微软进军 AI 浏览器，维持巨头的平庸
2025-07-30
Higress ，助力企业构建私有 AI 网关和 MCP 市场
2025-07-30
刚刚，OpenAI给大学生做了个新外挂！ChatGPT一键变老师，免费可用
2025-07-30
突发！字节跳动发布同声传译大模型Seed LiveInterpret2.0，是首个延迟与准确率接近人类水平的中英语音同传系统！
2025-07-30
OpenAI深夜发布ChatGPT Study：免费AI家教，彻底颠覆传统教育
2025-07-29
AI+合同审查落地分享（下-1- 合同智能审查）
2025-07-29
AI 应用开发，还需要意图识别吗？
2025-05-29
2025-05-23
2025-06-01
2025-05-07
2025-05-07
2025-05-07
2025-06-07
2025-06-21
2025-06-12
2025-05-20
2025-07-29
2025-07-29
2025-07-28
2025-07-27
2025-07-27
2025-07-25
2025-07-24
2025-07-24
回到顶部
粤ICP备14082021号