我要投稿

阿里云人工智能大模型通义千问Qwen3开发部署

发布日期：2025-05-13 07:36:10 浏览次数： 1803

作者：计算机科学与技术研究员

微信搜一搜，关注“计算机科学与技术研究员”

本文主要描述阿里云人工智能大模型开源社区ModelScope提供的通义千问Qwen3开发部署。

与阿里云一起

轻松实现数智化

让算力成为公共服务：用大规模的通用计算，帮助客户做从前不能做的事情，做从前做不到的规模。让数据成为生产资料：用数据的实时在线，帮助客户以数据为中心改变生产生活方式创造新的价

Qwen3 亮点

Qwen3 是 Qwen 系列中最新一代的大规模语言模型，提供了一系列密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面实现了突破性进展，具有以下关键特性：

在单一模型内无缝切换思考模式（用于复杂的逻辑推理、数学和编程）和非思考模式（用于高效的通用对话），确保在各种场景下的最佳性能。

显著增强其推理能力，在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ（在思考模式下）和 Qwen2.5 指令模型（在非思考模式下）。

优越的人类偏好对齐，擅长创意写作、角色扮演、多轮对话和指令执行，提供更加自然、吸引人和沉浸式的对话体验。

在代理能力方面的专长，能够在思考和非思考模式下与外部工具精确集成，并在复杂代理任务中达到开源模型中的领先性能。

支持 100 多种语言和方言，具有强大的多语言指令执行和翻译能力。

模型概述

Qwen3-0.6B 具有以下特点：

类型：因果语言模型

训练阶段：预训练 & 后训练

参数数量：0.6B

非嵌入参数数量：0.44B

层数：28

注意力头数（GQA）：Q 为 16，KV 为 8

上下文长度：32,768

开发环境搭建

ModelScope社区是阿里云通义千问开源的大模型开发者社区。

如上所示，安装ModelScope社区大模型基础库开发框架的命令行参数，使用清华大学提供的镜像地址

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架pytorch

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装深度学习基础库开发框架tensorflow

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型基础库开发框架

如上所示，在JetBrains PyCharm的项目工程终端控制台中，安装ModelScope社区大模型多模态领域开发框架

如上所示，在JetBrains PyCharm的项目工程的测试代码中，使用分词器对原文执行分析操作，输出分词列表

运行千问大模型

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B/files

如上所示，从ModelScope社区的模型仓库下载开源的千问大模型到本地

如上所示，在代码中引入预训练的模型库源文件，初始化分词器以及模型实例

如上所示，在代码中设置用户的提问信息，使用分词器的文本对话模版、设置文本对话模版的属性，其中，包括开启文本对话模版的思考模式，使用分词器初始化用户的输入问题信息

如上所示，在代码中使用模型实例对输入的分词列表执行生成操作，从大模型实例中获取用户问题的答复

如上所示，在代码中使用分词器对大模型的答复执行解码操作，解码包括思考部分的答复以及非思考部分的答复

阿里云人工智能大模型百炼运行部署

SGLANG_USE_MODELSCOPE=true python -m sglang.launch_server --model-path Qwen/Qwen3-0.6B --reasoning-parser qwen3

如上所示，使用开源SGLANG运行环境部署大模型的命令行

VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser DeepSeek_r1

如上所示，使用开源VLLM运行环境部署大模型的命令行

切换思考模式和非思考模式

默认情况下，Qwen3 启用了思考能力，类似于 QwQ-32B。这意味着模型将利用其推理能力来提高生成响应的质量。例如，在显式设置 enable_thinking=True 或在 tokenizer.apply_chat_template 中使用默认值时，模型将进入思考模式。

如上所示，在代码中使用思考模式，模型会生成用 <think>...</think> 的输出标签返回思考模式的生成内容

如上所示，在代码中使用非思考模式，模型不会生成任何思考内容，并且不会包含 <think>...</think>输出标签

高级用法：通过用户输入切换思考模式和非思考模式

我们提供了一种软开关机制，允许用户在 enable_thinking=True 时动态控制模型的行为。具体来说，您可以在用户提示或系统消息中添加 /think 和 /no_think 来逐轮切换模型的思考模式。在多轮对话中，模型将遵循最新的指令。

如上所示，在代码中定义通用函数，用于加载模型、初始化分词器、初始化模型实例、生成用户问题的答复

如上所示，在代码中使用默认的思考模式提问

如上所示，在代码中使用非思考模式提问

如上所示，在代码中使用思考模式提问

使用MCP协议代理集成

Qwen3在工具调用能力方面表现出色。我们推荐使用Qwen-Agent来最好地利用Qwen3的代理能力。Qwen-Agent内部封装了工具调用模板和解析器，极大地减少了编码复杂度。

要定义可用工具，您可以使用MCP配置文件、使用Qwen-Agent集成的工具，或者自行集成其他工具。

如上所示，在代码中定义MCP代理服务器端的LLM开放接口服务，其中，包括服务器地址以及授权认证属性信息

如上所示，在代码中定义MCP代理服务器端提供的工具命令

如上所示，在代码中使用MCP代理服务器端的工具命令实现对话功能

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-27

Local MCP时代来临：一键集成AI的Desktop Extensions（.dxt）深度解析

2025-06-27

PaddleOCR 3.0重磅发布！OCR精度跃升13%，多场景文档解析全面升级

2025-06-26

动手学Dify：知识库与外部知识库

2025-06-26

Google刚刚开源的这个东西，让Claude慌了｜ Gemini-CLI 提示词详细拆解

2025-06-26

免费！开源！Gemini CLI一比一复刻Claude Code！

2025-06-26

MiniCPM 4.0：面壁智能开源的极致高效端侧大模型（小版本、低消耗、220倍极致提速！）

2025-06-26

谷歌AI Agent刚开源！多任务智能体+MCP+谷歌搜索，狂揽9000颗星

2025-06-26

一手实测Gemini CLI 后，我用Claude Code给它做了个介绍页面……

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

看大厂PM，如何玩转多个智能体开发平台

2025-06-17

53AI Hub重磅开源！让99%的智能体开发者赚到钱！

2025-06-17

MCP服务介绍及应用场景报告-来自Manus

2025-04-01

15个最佳开源 RAG 框架选型指南

2025-04-13

源神降临！阿里 Qwen3 全系发布，免费商用，消费级显卡就能跑！(深度解读 + 实战case)

2025-04-29

47.3K star！这款开源RAG引擎真香！文档理解+精准检索+可视化干预，一站式搞定！

2025-04-01

OpenAI学院：人工智能领头羊自己下场做课了

2025-04-12

一文看懂谷歌 A2A：它到底是个啥？为什么能带AI Agent 组队开黑？

2025-04-10

阿里Qwen3正式发布：最小6亿参数，叫板Gemini-2.5Pro

2025-04-29

Qwen3中性能最强MOE模型部署抛砖引玉 + 实测

2025-04-29

大家都在问

从 MCP 谈起，到底什么才是 AI Native 产品？

2025-06-25

中国AI Agent市场最终会变成一地鸡毛吗？

2025-06-25

如何使用 Agno 构建一个基础的 AI 智能体？

2025-06-21

开源AI工具Magentic UI，凭什么让你的工作效率提升300%？

2025-06-16

如何用Gradio搭建一个完整的AI产品功能？

2025-06-15

从天价咨询到免费AI，夸克能改变志愿填报这门生意吗？

2025-06-14

开源RAG项目到底如何选型？

2025-06-10

免费开源的 Nanobrowser，竟成Web自动化的 “隐形高手”？

2025-06-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部