我要投稿

一文搞懂大模型：OpenAI开源GPT-OSS

发布日期：2025-08-07 06:25:50 浏览次数： 1811

作者：架构师带你玩转AI

微信搜一搜，关注“架构师带你玩转AI”

2025年8月6日，OpenAI发布了GPT-OSS系列模型，这是自2019年GPT-2以来OpenAI首次开源大语言模型。这标志着AI巨头从"CloseAI"重新回归"OpenAI"的重要转折点。

GitHub - openai/gpt-oss: gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI

一、模型架构

1. Mixture-of-Experts (MoE) 架构

GPT-OSS采用了基于Transformer的MoE（专家混合）架构，这是其高效性能的核心所在。MoE架构优势如下：

稀疏激活：每次推理仅激活部分专家网络
计算效率：在保持大模型能力的同时，大幅降低推理成本
内存优化：通过选择性激活减少内存占用

🔥 OpenAI Just Released Its First Open-Weight Models Since GPT-2

GPT-OSS模型提供20B和120B两种规格。

GPT-OSS-120B：总参数117B，每次推理仅激活5.1B参数
GPT-OSS-20B：总参数21B，每次推理仅激活3.6B参数

Gpt-oss-120b 模型在核心推理基准测试中与 OpenAI o4-mini 模型几乎持平，同时能在单个 80GB GPU 上高效运行。Gpt-oss-20b 模型在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果，且可在仅配备 16GB 内存的边缘设备上运行，使其成为设备端应用、本地推理或无需昂贵基础设施的快速迭代的理想选择。

2. 注意力机制创新

GPT-OSS在注意力机制上采用了多项优化技术。

交替注意力模式：全局注意力与局部窗口注意力交替使用，平衡计算效率与信息捕获能力
分组多查询注意力（GQA）：减少KV缓存大小，优化内存使用
学习型注意力汇聚（Attention Sink）：提高长序列处理的稳定性

注意力层配置：├── 交替注意力模式│   ├── 全上下文注意力层│   └── 滑动窗口注意力层（128 tokens）├── 分组多查询注意力（GQA）│   └── 组大小：8├── 学习型注意力汇聚（Attention Sink）│   └── 每头独立的可学习汇聚值

3. 位置编码与上下文扩展

采用RoPE（Rotary Positional Embedding）实现位置编码。

原生支持128K tokens上下文长度
通过YaRN技术进一步扩展到131,072 tokens
支持长文档处理和多轮对话

└── 旋转位置编码（RoPE）    └── 原生支持128K上下文长度

二、模型量化

1. 量化技术详解

GPT-OSS的核心创新之一是MXFP4（Mixed 4-bit Floating Point）量化技术。

MoE层权重：MXFP4（4.25 bits/参数）
其他权重：BF16精度
激活精度：推荐BF16

MXFP4张量结构：├── tensor.blocks：实际FP4值│   └── 每个uint8打包两个FP4值└── tensor.scales：块级缩放因子    └── 在最后一个维度进行块缩放

GPT-OSS使用MXFP4对MoE层进行4.25 bits量化，MoE权重占90%+的总参数，使120B模型可在单张 80GB H100上运行，20B模型16GB内存即可运行。

2. 硬件兼容性

MXFP4格式兼容Hopper和Blackwell系列GPU，包括数据中心卡和最新的50xx系列消费级GPU。

NVIDIA Hopper架构（H100, H200）
NVIDIA Blackwell架构（GB200）
最新GeForce RTX 50系列消费级GPU
AMD Instinct系列通过MegaBlocks优化支持

三、模型训练

GPT-OSS模型采用OpenAI最先进的预训练和后训练技术进行训练，特别注重推理能力、效率以及在各种部署环境中的实际应用性。

Understanding and Using Supervised Fine-Tuning (SFT) for Language Models

1. 预训练数据集

GPT-OSS使用了一个高质量、主要为英文的纯文本数据集对模型进行了训练，重点关注 STEM、编程和通用知识领域。同时使用了 OpenAI o4-mini 和 GPT‑4o 所用令牌化器的超集进行数据令牌化，即 ‘o200k_harmony'，该令牌化器今日也一并开源。

数万亿tokens的文本数据
重点领域：STEM、编程、通用知识
主要语言：英语（文本专用）
分词器：o200k_harmony（GPT-4o系列同款）

2. 后训练流程

模型采用了与 O4-mini 类似的训练流程进行后训练，包括监督式微调阶段和高计算量强化学习阶段。目标是使模型符合《OpenAI 模型规范》⁠（在新窗口中打开），并使其在生成答案前能够应用 CoT 推理⁠和工具使用能力。通过采用与OpenAI最先进的专有推理模型相同的技术，这些模型在训练后展现出卓越的性能。

训练Pipeline：预训练阶段├── 无监督学习├── 模式识别优化└── 基础能力建立    ↓后训练阶段├── 监督微调（SFT）├── 人类反馈强化学习（RLHF）├── 融合o3等前沿模型技术└── 原生MXFP4量化训练

GPT-OSS 与 OpenAI o 系列推理模型在 API 中的实现类似，这两个开放模型支持三种推理强度——低、中、高——它们在延迟与性能之间进行权衡。开发人员可以通过在系统消息中输入一句话，轻松设置推理难度。

Lewis Tunstall on X: "One line of code is all it takes to fine-tune the gpt- oss models from @OpenAI 🔥 > Support to target the MoE expert layers with PEFT > Kernels

四、模型部署

1. 官方支持平台

GPT-OSS模型可通过Hugging Face Transformers、vLLM、Ollama、llama.cpp、LM Studio等主流平台快速部署。

GPT‑OSS Explained: OpenAI's Powerful Open-Weight Language Models for Local Inference | by Sahin Ahmed, Data Scientist | Aug, 2025 | Medium

其中120B版本需单张H100运行，支持MXFP4量化技术实现高效推理。

# 单GPU部署（MXFP4）GPU: H100 80GB内存: 系统内存32GB+精度: MXFP4 + BF16激活

20B版本仅需16GB内存即可在消费级硬件上部署，也支持MXFP4量化技术实现高效推理。

# 消费级硬件部署GPU: 16GB VRAM内存: 系统内存16GB精度: MXFP4 + BF16激活

2. Ollama本地部署

整个部署过程非常简化，Ollama作为本地AI模型管理工具，让用户无需复杂配置就能快速运行大型语言模型，支持图形界面和命令行两种使用方式。

（1）普通用户方式：

下载并安装Ollama应用程序
打开Ollama应用
在界面中选择gpt-oss:20b模型即可使用

（2）开发者命令行方式：

下载并安装Ollama
打开命令提示符/终端
执行命令 ollama run gpt-oss:20b 启动这个20B参数的开源模型

Delivering 1.5 M TPS Inference on NVIDIA GB200 NVL72, NVIDIA Accelerates OpenAI gpt-oss Models from Cloud to Edge | NVIDIA Technical Blog

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-24

云栖大会阿里掀桌子了！Qwen3-Max、VL、Omini、Agent ... 统统发布！

2025-09-24

阿里发布Qwen3-VL：开源多模态登顶 SOTA

2025-09-23

Embedding Gemma，谷歌发布的小而精向量模型，仅需0.3B｜附RAG实战代码

2025-09-23

美团悄悄上线推理大模型，我们离生活Agent又近了一步

2025-09-23

阿里开源 Tongyi DeepResearch：科研智能体能力首次追平 OpenAI

2025-09-23

每天白嫖500万Token！美团开源深度思考龙猫大模型，编程能力媲美GPT-5！

2025-09-23

小米开源首个原生端到端语音大模型 MiMo-Audio

2025-09-23

最近，腾讯把智能体平台开源了！

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

实测Qwen3-Coder，这就是目前最强的开源编程模型

2025-07-23

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

Qwen3-Coder开源：面向世界的智能编程引擎

2025-07-23

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

Kimi K2详测，Claude国产平替有了

2025-07-14

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

GLM-4.5 发布，六大主流模型混战测评，谁能一键生成“ 真·可用 ”的应用？

2025-07-29

Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程

2025-07-12

手把手教你本地部署！京东JoyAgent全攻略：从零拥有一个企业级的AI Agent

2025-07-31

大家都在问

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Dify Pre-release版本来了，Dify2.0时代不远了，看看有哪些进步？

2025-09-09

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

苹果深夜开源FastVLM：速度飙升85倍，0.5B小模型要逼疯谁？

2025-09-01

Coze开源了，为什么AI产品经理还是不会用？

2025-08-16

“入口”新变局：OpenAI开源模型+“口袋里的设备”，企业管理会发生变化吗？

2025-08-13

AI快讯：AI安全漏洞揭秘：副业者如何利用漏洞检测赚钱？

2025-08-11

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB