我要投稿

Qwen1.5-MoE实测：代码生成、文本创作、信息提取效果如何？

发布日期：2024-06-14 19:57:28 浏览次数： 2867

作者：机器之心SOTA模型

微信搜一搜，关注“机器之心SOTA模型”

在开发针对特定细分场景的AI应用时，我们需要对备选模型在这些场景下的性能进行细致的测试，以确定模型的能力边界，才能知道这个模型是否真的适合用在这个场景上。
而当前，不管是开源或者闭源模型，模型更新的速度很快，几乎每天都有新的模型版本发布。
为了提升模型实测环节的效率，SOTA平台每日会更新包括Llama3、Yi-1.5、DeepSeek等在内的最新热门开源模型的实测案例，作为大家了解模型实际能力的基础。
我们的测试案例会涵盖代码、逻辑与推理、角色扮演、内容生成与创作等常见应用场景。

今日实测

下面是Qwen1.5-MoE-A2.7B在代码生成、文本创作、JSON格式提取、信息提取的表现展示（附上模型部署环境、推理效率）。Qwen1.5-MoE-A2.7B采用混合专家 (MoE) 架构，其中的模型由密集语言模型升级而来，Qwen1.5-MoE-A2.7B是从升级而来Qwen-1.8B。它总共有143亿个参数，运行时有27亿个激活参数。

01 代码生成

Qwen1.5-MoE在代码生成任务中的表现总体较好，生成的俄罗斯方块游戏代码框架较为完整，展示了如何使用pygame库来创建游戏窗口、处理用户输入和绘制图形等基本功能，体现了一定的实用性。然而，该输出存在一些不足之处，如没有完整的代码实现，仅提供了框架，缺少游戏逻辑的具体实现和注释，可能需要用户具备较强的编程基础才能继续完善。此外，代码格式稍显凌乱，可读性有待提高。

02 文本创作

Qwen1.5-MoE在文本创作任务中，生成的续写内容语言流畅，能够有效地延续原文本的情感基调和风格。续写部分自然衔接，并通过细致的描写和对比展现了作者对过去的怀念和对未来的期待。同时，模型能够通过具体场景和人物细节增加文本的生动性。

03 JSON格式提取

Qwen1.5-MoE在Json格式提取任务中，成功提取了文本中的关键信息并以结构化的Json格式表示：公司地址、业务目标、团队构成和产品预期等主要内容。然而，输出中的不足在于，部分字段信息不够准确，如“革命性”和“贡献”字段的表达模糊，有待进一步优化。此外，字段命名和层次结构可以更精细，以提高可读性和逻辑性。