我要投稿

阿里云人工智能大模型通义千问Qwen3开发部署

发布日期：2025-05-13 07:36:10 浏览次数： 1961

作者：计算机科学与技术研究员

微信搜一搜，关注“计算机科学与技术研究员”

本文主要描述阿里云人工智能大模型开源社区ModelScope提供的通义千问Qwen3开发部署。

与阿里云一起

轻松实现数智化

让算力成为公共服务：用大规模的通用计算，帮助客户做从前不能做的事情，做从前做不到的规模。让数据成为生产资料：用数据的实时在线，帮助客户以数据为中心改变生产生活方式创造新的价

Qwen3 亮点

Qwen3 是 Qwen 系列中最新一代的大规模语言模型，提供了一系列密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面实现了突破性进展，具有以下关键特性：

在单一模型内无缝切换思考模式（用于复杂的逻辑推理、数学和编程）和非思考模式（用于高效的通用对话），确保在各种场景下的最佳性能。

显著增强其推理能力，在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ（在思考模式下）和 Qwen2.5 指令模型（在非思考模式下）。

优越的人类偏好对齐，擅长创意写作、角色扮演、多轮对话和指令执行，提供更加自然、吸引人和沉浸式的对话体验。

在代理能力方面的专长，能够在思考和非思考模式下与外部工具精确集成，并在复杂代理任务中达到开源模型中的领先性能。

支持 100 多种语言和方言，具有强大的多语言指令执行和翻译能力。

模型概述

Qwen3-0.6B 具有以下特点：

类型：因果语言模型

训练阶段：预训练 & 后训练

参数数量：0.6B

非嵌入参数数量：0.44B

层数：28

注意力头数（GQA）：Q 为 16，KV 为 8

上下文长度：32,768

开发环境搭建

ModelScope社区是阿里云通义千问开源的大模型开发者社区。

如上所示，安装ModelScope社区大模型基础库开发框架的命令行参数，使用清华大学提供的镜像地址

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架pytorch

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架tensorflow

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型基础库开发框架

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型多模态领域开发框架

如上所示，在JetBrains PyCharm的项目工程的测试代码中，使用分词器对原文执行分析操作，输出分词列表

运行千问大模型

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B/files

如上所示，从ModelScope社区的模型仓库下载开源的千问大模型到本地

如上所示，在代码中引入预训练的模型库源文件，初始化分词器以及模型实例

如上所示，在代码中设置用户的提问信息，使用分词器的文本对话模版、设置文本对话模版的属性，其中，包括开启文本对话模版的思考模式，使用分词器初始化用户的输入问题信息

如上所示，在代码中使用模型实例对输入的分词列表执行生成操作，从大模型实例中获取用户问题的答复

如上所示，在代码中使用分词器对大模型的答复执行解码操作，解码包括思考部分的答复以及非思考部分的答复

阿里云人工智能大模型百炼运行部署

SGLANG_USE_MODELSCOPE=true python -m sglang.launch_server --model-path Qwen/Qwen3-0.6B --reasoning-parser qwen3

如上所示，使用开源SGLANG运行环境部署大模型的命令行

VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser DeepSeek_r1

如上所示，使用开源VLLM运行环境部署大模型的命令行

切换思考模式和非思考模式

默认情况下，Qwen3 启用了思考能力，类似于 QwQ-32B。这意味着模型将利用其推理能力来提高生成响应的质量。例如，在显式设置 enable_thinking=True 或在 tokenizer.apply_chat_template 中使用默认值时，模型将进入思考模式。

如上所示，在代码中使用思考模式，模型会生成用 <think>...</think> 的输出标签返回思考模式的生成内容

如上所示，在代码中使用非思考模式，模型不会生成任何思考内容，并且不会包含 <think>...</think>输出标签

高级用法：通过用户输入切换思考模式和非思考模式

我们提供了一种软开关机制，允许用户在 enable_thinking=True 时动态控制模型的行为。具体来说，您可以在用户提示或系统消息中添加 /think 和 /no_think 来逐轮切换模型的思考模式。在多轮对话中，模型将遵循最新的指令。

如上所示，在代码中定义通用函数，用于加载模型、初始化分词器、初始化模型实例、生成用户问题的答复

如上所示，在代码中使用默认的思考模式提问

如上所示，在代码中使用非思考模式提问

如上所示，在代码中使用思考模式提问

使用MCP协议代理集成

Qwen3在工具调用能力方面表现出色。我们推荐使用Qwen-Agent来最好地利用Qwen3的代理能力。Qwen-Agent内部封装了工具调用模板和解析器，极大地减少了编码复杂度。

要定义可用工具，您可以使用MCP配置文件、使用Qwen-Agent集成的工具，或者自行集成其他工具。

如上所示，在代码中定义MCP代理服务器端的LLM开放接口服务，其中，包括服务器地址以及授权认证属性信息

如上所示，在代码中定义MCP代理服务器端提供的工具命令

如上所示，在代码中使用MCP代理服务器端的工具命令实现对话功能

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-08-12

智谱发布开源视觉推理模型GLM-4.5V，刷新41项多模态推理SOTA

2025-08-12

一个 OpenAI 内部人的亲历速记

2025-08-12

【首发】字节跳动Coze本地化部署终极教程：小白也能一键玩转AI智能体，揭秘开源“扣子”背后的商业野心！

2025-08-12

反超OpenAI，百川开源大模型医疗能力登顶世界第一

2025-08-11

刚刚，智谱开源了他们的最强多模态模型，GLM-4.5V。

2025-08-11

Gemini CLI源码解析：Agent与上下文管理实现细节

2025-08-11

谷歌开源 LangExtract，用 LLM 精准提取万物信息

2025-08-11

谷歌开源结构化信息提取神器！4K+ Star，精准定位+交互式可视化！

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

实测Qwen3-Coder，这就是目前最强的开源编程模型

2025-07-23

看大厂PM，如何玩转多个智能体开发平台

2025-06-17

53AI Hub重磅开源！让99%的智能体开发者赚到钱！

2025-06-17

Qwen3-Coder开源：面向世界的智能编程引擎

2025-07-23

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

Kimi K2详测，Claude国产平替有了

2025-07-14

Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程

2025-07-12

字节重磅开源！Coze Studio + Coze Loop 助力AI Agent开发与运维一体化

2025-07-27

GLM-4.5 发布，六大主流模型混战测评，谁能一键生成“ 真·可用 ”的应用？

2025-07-29

GLM-4.5详测，这次智谱真的重回巅峰了

2025-07-29

大家都在问

AI快讯：AI安全漏洞揭秘：副业者如何利用漏洞检测赚钱？

2025-08-11

Coze、Dify、n8n：三国争霸哪家强？

2025-08-11

Agent应用爆发，谁成为向上托举的力量？

2025-08-06

OpenAI 为什么要开源大模型 gpt-oss？

2025-08-06

谁在拆 OpenAI 的围墙？

2025-08-06

OpenCSG ：企业级AI落地的全新选择，凭什么脱颖而出？

2025-08-04

为什么有AI Agent经验的产品经理更抢手？

2025-08-03

浪费我一上午！你们真的实测了 GLM-4.5 吗？

2025-08-02

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部