我要投稿

华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测

发布日期：2024-07-14 01:13:15 浏览次数： 5078

作者：算法工程笔记

微信搜一搜，关注“算法工程笔记”

最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。

TL;DR

华为NPU生态新增了MindIE,部分解决了大模型推理问题
华为昇腾NPU与英伟达GPU生态层级对比:

CANN 对应 CUDA
MindSpore 对应 PyTorch
MindFormer 对应 Transformers
MindIE 对应 vLLM
MindIE目前支持的模型有限,包括:

LLaMA 3-8B, LLaMA 2-7B
Qwen 1.5-14B-Chat, Qwen 1.5-72B-Chat
ChatGLM3-6B
未列出的模型大概率不支持

MindIE推理性能测试(使用910B4卡):

并发数: 40
首token平均延迟: 66毫秒
每秒生成token数: 约1200
单请求每秒生成token数: 约30
模型: Qwen 1.5-14B-Chat
硬件: 4卡910B4
测试条件：
测试结论

测试结果显示，MindIE的推理性能基本可以满足生产环境需求

基本概念

首先，在英伟达的生态中，有从底层到上层分别有CUDA、PyTorch、transformers、vLLM等常见库。对应的，在华为的生态中，分别有CANN、MindSpore、MindFormer、MindIE。具体对应关系见下图：

关于MindSpore、MindIE的详细介绍，分别见下面的图与链接：

MindSpore——https://www.mindspore.cn/

MindIE——https://www.hiascend.com/software/mindie

MindIE目前支持的模型们

在华鲲振宇AI最优解/ Ascend-FAQ的gitee^[1]页面上，介绍了MindIE目前支持的模型，包含了llama3-8B、llama2-7B、Qwen1.5-14B-Chat、Qwen1.5-72B-Chat、chatglm3-6B等模型。

目前看支持的大模型很少，而且页面上没有写的大概率不支持（比如Qwen1.5-32B-Chat以及Qwen2系列实测均不支持）。

MindIE推理效果

虽然支持的模型不多，但是，得益于910B系列卡的强劲算力，配合MindIE框架做了下并发推理测试，具体结果如下：

可以看到4卡910B4，跑Qwen1.5-14B-Chat模型，在40并发的情况下，首token平均延迟为66毫秒，每秒token生成数在1200左右，单个请求每秒生成token数约为30个，基本可以满足生产环境的需求

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-26

Claude Code auto mode 解析：如何用 AI 分类器替代人工审批

2026-03-26

Google 最新极限压缩算法，砸碎大模型本地部署的内存墙，8 倍提升！

2026-03-26

Google 发了个压缩算法，内存砍 6 倍，速度快 8 倍，精度零损失

2026-03-26

Claude团队深夜祭出“自动模式”！网友看呆了：CC里程碑式进化！无人值班确实上头，但一周的token很快燃尽

2026-03-25

如何设计 Harness 工程，实现长时间自动开发应用

2026-03-25

拒绝“感觉有效”：用数据证明 AI Coding 的真实团队价值【天猫AI Coding实践系列】

2026-03-25

Anthropic说：不要在等下一代模型了，立刻马上做Harness！

2026-03-25

让Claude连跑6小时:Anthropic多智能体框架完整拆解

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude Code Skills 国内实践全指南：从安装部署到高阶开发

2026-01-09

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

不会封号的Claude Code使用方法！已稳定测试一个月，还能共享给团队。

2026-01-14

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

大家都在问

OpenAI不会干黄了吧？

2026-03-22

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-22

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

真实测评MiniMax M2.7，不吹不夸，它到底什么水平？

2026-03-20

深度分析：Agent Harness/框架到底有没有竞争壁垒？

2026-03-19

咨询 | OpenAI、Anthropic纷纷和咨询公司合作的背后，折射除了行业落地AI什么样的趋势？

2026-03-19

大伙都在养虾，MiniMax 带着新模型来偷偷上分了？

2026-03-19

Harness Engineering 为什么是 Agent 时代的“控制论”？

2026-03-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw