我要投稿

阿里云人工智能大模型通义千问Qwen3开发部署

发布日期：2025-05-13 07:36:10 浏览次数： 1540 作者：计算机科学与技术研究员

本文主要描述阿里云人工智能大模型开源社区ModelScope提供的通义千问Qwen3开发部署。

与阿里云一起

轻松实现数智化

让算力成为公共服务：用大规模的通用计算，帮助客户做从前不能做的事情，做从前做不到的规模。让数据成为生产资料：用数据的实时在线，帮助客户以数据为中心改变生产生活方式创造新的价值。

Qwen3 亮点

Qwen3 是 Qwen 系列中最新一代的大规模语言模型，提供了一系列密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面实现了突破性进展，具有以下关键特性：

在单一模型内无缝切换思考模式（用于复杂的逻辑推理、数学和编程）和非思考模式（用于高效的通用对话），确保在各种场景下的最佳性能。

显著增强其推理能力，在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ（在思考模式下）和 Qwen2.5 指令模型（在非思考模式下）。

优越的人类偏好对齐，擅长创意写作、角色扮演、多轮对话和指令执行，提供更加自然、吸引人和沉浸式的对话体验。

在代理能力方面的专长，能够在思考和非思考模式下与外部工具精确集成，并在复杂代理任务中达到开源模型中的领先性能。

支持 100 多种语言和方言，具有强大的多语言指令执行和翻译能力。

模型概述

Qwen3-0.6B 具有以下特点：

类型：因果语言模型

训练阶段：预训练 & 后训练

参数数量：0.6B

非嵌入参数数量：0.44B

层数：28

注意力头数（GQA）：Q 为 16，KV 为 8

上下文长度：32,768

开发环境搭建

ModelScope社区是阿里云通义千问开源的大模型开发者社区。

如上所示，安装ModelScope社区大模型基础库开发框架的命令行参数，使用清华大学提供的镜像地址

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架pytorch

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架tensorflow

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型基础库开发框架

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型多模态领域开发框架

如上所示，在JetBrains PyCharm的项目工程的测试代码中，使用分词器对原文执行分析操作，输出分词列表

运行千问大模型

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B/files

如上所示，从ModelScope社区的模型仓库下载开源的千问大模型到本地

如上所示，在代码中引入预训练的模型库源文件，初始化分词器以及模型实例

如上所示，在代码中设置用户的提问信息，使用分词器的文本对话模版、设置文本对话模版的属性，其中，包括开启文本对话模版的思考模式，使用分词器初始化用户的输入问题信息

如上所示，在代码中使用模型实例对输入的分词列表执行生成操作，从大模型实例中获取用户问题的答复

如上所示，在代码中使用分词器对大模型的答复执行解码操作，解码包括思考部分的答复以及非思考部分的答复

阿里云人工智能大模型百炼运行部署

SGLANG_USE_MODELSCOPE=true python -m sglang.launch_server --model-path Qwen/Qwen3-0.6B --reasoning-parser qwen3

如上所示，使用开源SGLANG运行环境部署大模型的命令行

VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser DeepSeek_r1

如上所示，使用开源VLLM运行环境部署大模型的命令行

切换思考模式和非思考模式

默认情况下，Qwen3 启用了思考能力，类似于 QwQ-32B。这意味着模型将利用其推理能力来提高生成响应的质量。例如，在显式设置 enable_thinking=True 或在 tokenizer.apply_chat_template 中使用默认值时，模型将进入思考模式。

如上所示，在代码中使用思考模式，模型会生成用 <think>...</think> 的输出标签返回思考模式的生成内容

如上所示，在代码中使用非思考模式，模型不会生成任何思考内容，并且不会包含 <think>...</think>输出标签

高级用法：通过用户输入切换思考模式和非思考模式

我们提供了一种软开关机制，允许用户在 enable_thinking=True 时动态控制模型的行为。具体来说，您可以在用户提示或系统消息中添加 /think 和 /no_think 来逐轮切换模型的思考模式。在多轮对话中，模型将遵循最新的指令。

如上所示，在代码中定义通用函数，用于加载模型、初始化分词器、初始化模型实例、生成用户问题的答复

如上所示，在代码中使用默认的思考模式提问

如上所示，在代码中使用非思考模式提问

如上所示，在代码中使用思考模式提问

使用MCP协议代理集成

Qwen3在工具调用能力方面表现出色。我们推荐使用Qwen-Agent来最好地利用Qwen3的代理能力。Qwen-Agent内部封装了工具调用模板和解析器，极大地减少了编码复杂度。

要定义可用工具，您可以使用MCP配置文件、使用Qwen-Agent集成的工具，或者自行集成其他工具。

如上所示，在代码中定义MCP代理服务器端的LLM开放接口服务，其中，包括服务器地址以及授权认证属性信息

如上所示，在代码中定义MCP代理服务器端提供的工具命令

如上所示，在代码中使用MCP代理服务器端的工具命令实现对话功能

阿里云 • 云小站

业务介绍

欢迎咨询

推荐使用

https://www.aliyun.com/minisite/goods?userCode=tpyulgm9

复制链接地址到浏览器

微信扫描或者长按识别二维码

专属AI大模型

业务介绍

欢迎咨询

推荐使用

https://dashi.aliyun.com/activity/aigc?userCode=tpyulgm9

复制链接地址到浏览器

微信扫描或者长按识别二维码

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-05-12

一款辅助Cursor的开源神器，直接在浏览器选中元素调用AI Composer！

2025-05-12

豆包电脑版不讲武德降维打击本地部署AI知识库的开源选手

2025-05-12

JManus - 面向 Java 开发者的开源通用智能体

2025-05-12

阿里直接硬刚Google！

2025-05-12

字节跳动开源扣子coze、飞书工作流引擎！FlowGram.AI

2025-05-12

已经狂揽了15.2k!Cursor 的开源平替 Void 来了！

2025-05-12

微软出手开源 UFO²，系统级自主智能体如何引爆企业级 AI 应用？

2025-05-11

字节大模型应用开发框架 Eino 全解（一）｜结合 RAG 知识库案例分析框架生态

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

DeepSeek-V3 正式发布

2024-12-26

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

大家都在问

微软出手开源 UFO²，系统级自主智能体如何引爆企业级 AI 应用？

2025-05-12

速报！DeepSeek-Prover-V2-671B 悄然上线，或为 R2 铺路？

2025-04-30

我们有必要使用 Qwen3 吗？

2025-04-29

DeepSeek本地化部署有风险！快来看看你中招了吗？

2025-04-28

AGI｜智能体总忘事？Letta框架如何让AI告别"金鱼记忆"？

2025-04-28

杨植麟再掀 AI 风暴！Kimi-Audio 如何让机器听懂人类 “弦外之音”？

2025-04-28

AI大模型火热，将 Hugging Face大模型转换为 GGUF 为何受关注？

2025-04-21

微软最新 Playwright MCP 服务器强势来袭？

2025-04-19

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB