我要投稿

华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测

发布日期：2024-07-14 01:13:15 浏览次数： 4918

作者：算法工程笔记

微信搜一搜，关注“算法工程笔记”

最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。

TL;DR

华为NPU生态新增了MindIE,部分解决了大模型推理问题
华为昇腾NPU与英伟达GPU生态层级对比:

CANN 对应 CUDA
MindSpore 对应 PyTorch
MindFormer 对应 Transformers
MindIE 对应 vLLM
MindIE目前支持的模型有限,包括:

LLaMA 3-8B, LLaMA 2-7B
Qwen 1.5-14B-Chat, Qwen 1.5-72B-Chat
ChatGLM3-6B
未列出的模型大概率不支持

MindIE推理性能测试(使用910B4卡):

并发数: 40
首token平均延迟: 66毫秒
每秒生成token数: 约1200
单请求每秒生成token数: 约30
模型: Qwen 1.5-14B-Chat
硬件: 4卡910B4
测试条件：
测试结论

测试结果显示，MindIE的推理性能基本可以满足生产环境需求

基本概念

首先，在英伟达的生态中，有从底层到上层分别有CUDA、PyTorch、transformers、vLLM等常见库。对应的，在华为的生态中，分别有CANN、MindSpore、MindFormer、MindIE。具体对应关系见下图：

关于MindSpore、MindIE的详细介绍，分别见下面的图与链接：

MindSpore——https://www.mindspore.cn/

MindIE——https://www.hiascend.com/software/mindie

MindIE目前支持的模型们

在华鲲振宇AI最优解/ Ascend-FAQ的gitee^[1]页面上，介绍了MindIE目前支持的模型，包含了llama3-8B、llama2-7B、Qwen1.5-14B-Chat、Qwen1.5-72B-Chat、chatglm3-6B等模型。

目前看支持的大模型很少，而且页面上没有写的大概率不支持（比如Qwen1.5-32B-Chat以及Qwen2系列实测均不支持）。

MindIE推理效果

虽然支持的模型不多，但是，得益于910B系列卡的强劲算力，配合MindIE框架做了下并发推理测试，具体结果如下：

可以看到4卡910B4，跑Qwen1.5-14B-Chat模型，在40并发的情况下，首token平均延迟为66毫秒，每秒token生成数在1200左右，单个请求每秒生成token数约为30个，基本可以满足生产环境的需求

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-08

【访谈对话】造过 Codex 的人，为什么每天用 Claude Code

2026-02-07

程序员的最后一块拼图：为什么你必须学会用 Claude Code？

2026-02-07

OpenClaw 爆火却难部署？用 Cherry Studio 一键解锁，零门槛打造你的超级 AI Agent

2026-02-06

国产最强 AI 进军终端！Kimi Code CLI 正式发布，让你的命令行直接起飞

2026-02-06

AI记忆正成为新操作系统：检索已过时，生成式记忆才是未来

2026-02-06

简单就是美！Claude Code Ralph循环机制详解

2026-02-06

OpenAI 发布 GPT-5.3-Codex，一文详解

2026-02-06

火拼升级！OpenAI、Anthropic同日发布新模型，一个能替你写代码，一个能替公司管流程

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

Codex 史诗级更新！引入 Skills 技能库，直接兼容 Claude 生态，开发效率原地起飞

2025-12-09

国内版的 NotebookLM 来了，甚至更强

2025-11-12

Claude赢麻了？OpenAI Codex正式支持Skills，GitHub连夜上车！

2025-12-21

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

大家都在问

程序员的最后一块拼图：为什么你必须学会用 Claude Code？

2026-02-07

谁动了我的电脑？谁应该抱怨？

2026-02-04

刚刚！OpenAI 正式发布 Codex App，一人指挥一支 AI 军队，Cursor 慌了？

2026-02-03

谷歌Genie 3打崩游戏股！1小时500元的AI生成游戏，真能革游戏的命？

2026-02-03

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean