2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

一文搞懂大模型:OpenAI开源GPT-OSS

发布日期:2025-08-07 06:25:50 浏览次数: 2348
作者:架构师带你玩转AI

微信搜一搜,关注“架构师带你玩转AI”

推荐语

OpenAI重磅开源GPT-OSS大模型,MoE架构与创新量化技术实现高效推理,让大模型真正触手可及。

核心内容:
1. GPT-OSS的MoE架构突破:稀疏激活与计算优化
2. 注意力机制创新:交替注意力与GQA技术详解
3. MXFP4量化技术:4.25位混合精度实现高效部署

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
2025年8月6日,OpenAI发布了GPT-OSS系列模型,这是自2019年GPT-2以来OpenAI首次开源大语言模型。这标志着AI巨头从"CloseAI"重新回归"OpenAI"的重要转折点。
GitHub - openai/gpt-oss: gpt-oss-120b and gpt-oss-20b are two open-weight  language models by OpenAI

一、模型架构

1. Mixture-of-Experts (MoE) 架构

GPT-OSS采用了基于Transformer的MoE(专家混合)架构,这是其高效性能的核心所在。MoE架构优势如下:
  • 稀疏激活:每次推理仅激活部分专家网络
  • 计算效率:在保持大模型能力的同时,大幅降低推理成本
  • 内存优化:通过选择性激活减少内存占用

🔥 OpenAI Just Released Its First Open-Weight Models Since GPT-2

GPT-OSS模型提供20B和120B两种规格。

  • GPT-OSS-120B:总参数117B,每次推理仅激活5.1B参数
  • GPT-OSS-20B:总参数21B,每次推理仅激活3.6B参数

Gpt-oss-120b 模型在核心推理基准测试中与 OpenAI o4-mini 模型几乎持平,同时能在单个 80GB GPU 上高效运行。Gpt-oss-20b 模型在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果,且可在仅配备 16GB 内存的边缘设备上运行,使其成为设备端应用、本地推理或无需昂贵基础设施的快速迭代的理想选择。

OpenAI's New OPEN Models - GPT-OSS 120B & 20B - YouTube

2. 注意力机制创新

GPT-OSS在注意力机制上采用了多项优化技术。

  • 交替注意力模式:全局注意力与局部窗口注意力交替使用,平衡计算效率与信息捕获能力
  • 分组多查询注意力(GQA):减少KV缓存大小,优化内存使用
  • 学习型注意力汇聚(Attention Sink):提高长序列处理的稳定性
注意力层配置:├── 交替注意力模式│   ├── 全上下文注意力层│   └── 滑动窗口注意力层(128 tokens)├── 分组多查询注意力(GQA)│   └── 组大小:8├── 学习型注意力汇聚(Attention Sink)│   └── 每头独立的可学习汇聚值

3. 位置编码与上下文扩展

采用RoPE(Rotary Positional Embedding)实现位置编码。

  • 原生支持128K tokens上下文长度
  • 通过YaRN技术进一步扩展到131,072 tokens
  • 支持长文档处理和多轮对话
└── 旋转位置编码(RoPE)    └── 原生支持128K上下文长度

GPT‑OSS Explained: OpenAI's Powerful Open-Weight Language Models for Local  Inference | by Sahin Ahmed, Data Scientist | Aug, 2025 | Medium

二、模型量化

1. 量化技术详解

GPT-OSS的核心创新之一是MXFP4(Mixed 4-bit Floating Point)量化技术。

  • MoE层权重:MXFP4(4.25 bits/参数)
  • 其他权重:BF16精度
  • 激活精度:推荐BF16
MXFP4张量结构:├── tensor.blocks:实际FP4值│   └── 每个uint8打包两个FP4值└── tensor.scales:块级缩放因子    └── 在最后一个维度进行块缩放
GPT-OSS使用MXFP4对MoE层进行4.25 bits量化,MoE权重占90%+的总参数,使120B模型可在单张 80GB H100上运行,20B模型16GB内存即可运行 。
2. 硬件兼容性
MXFP4格式兼容Hopper和Blackwell系列GPU,包括数据中心卡和最新的50xx系列消费级GPU。
  • NVIDIA Hopper架构(H100, H200)
  • NVIDIA Blackwell架构(GB200)
  • 最新GeForce RTX 50系列消费级GPU
  • AMD Instinct系列通过MegaBlocks优化支持
gpt-oss の使い方|npaka

三、模型训练

GPT-OSS模型采用OpenAI最先进的预训练和后训练技术进行训练,特别注重推理能力、效率以及在各种部署环境中的实际应用性。
Understanding and Using Supervised Fine-Tuning (SFT) for Language Models
1. 预训练数据集
GPT-OSS使用了一个高质量、主要为英文的纯文本数据集对模型进行了训练,重点关注 STEM、编程和通用知识领域。同时使用了 OpenAI o4-mini 和 GPT‑4o 所用令牌化器的超集进行数据令牌化,即 ‘o200k_harmony',该令牌化器今日也一并开源。
    • 数万亿tokens的文本数据
    • 重点领域:STEM、编程、通用知识
    • 主要语言:英语(文本专用)
    • 分词器:o200k_harmony(GPT-4o系列同款)
    2. 后训练流程

    模型采用了与 O4-mini 类似的训练流程进行后训练,包括监督式微调阶段和高计算量强化学习阶段。目标是使模型符合《OpenAI 模型规范》⁠(在新窗口中打开),并使其在生成答案前能够应用 CoT 推理⁠和工具使用能力。通过采用与OpenAI最先进的专有推理模型相同的技术,这些模型在训练后展现出卓越的性能。

    训练Pipeline:预训练阶段├── 无监督学习├── 模式识别优化└── 基础能力建立    ↓后训练阶段├── 监督微调(SFT)├── 人类反馈强化学习(RLHF)├── 融合o3等前沿模型技术└── 原生MXFP4量化训练
    GPT-OSS 与 OpenAI o 系列推理模型在 API 中的实现类似,这两个开放模型支持三种推理强度——低、中、高——它们在延迟与性能之间进行权衡。开发人员可以通过在系统消息中输入一句话,轻松设置推理难度。

    Lewis Tunstall on X: "One line of code is all it takes to fine-tune the gpt- oss models from @OpenAI 🔥 > Support to target the MoE expert layers with  PEFT > Kernels

    四、模型部署

    1. 官方支持平台
    GPT-OSS模型可通过Hugging Face Transformers、vLLM、Ollama、llama.cpp、LM Studio等主流平台快速部署。
    GPT‑OSS Explained: OpenAI's Powerful Open-Weight Language Models for Local  Inference | by Sahin Ahmed, Data Scientist | Aug, 2025 | Medium
    其中120B版本需单张H100运行,支持MXFP4量化技术实现高效推理。
    # 单GPU部署(MXFP4)GPU: H100 80GB内存: 系统内存32GB+精度: MXFP4 + BF16激活
    20B版本仅需16GB内存即可在消费级硬件上部署,也支持MXFP4量化技术实现高效推理。
    # 消费级硬件部署GPU: 16GB VRAM内存: 系统内存16GB精度: MXFP4 + BF16激活

    2. Ollama本地部署

    整个部署过程非常简化,Ollama作为本地AI模型管理工具,让用户无需复杂配置就能快速运行大型语言模型,支持图形界面和命令行两种使用方式。

    (1)普通用户方式:

    • 下载并安装Ollama应用程序
    • 打开Ollama应用
    • 在界面中选择gpt-oss:20b模型即可使用

    (2)开发者命令行方式:

    • 下载并安装Ollama
    • 打开命令提示符/终端
    • 执行命令 ollama run gpt-oss:20b 启动这个20B参数的开源模型
    Delivering 1.5 M TPS Inference on NVIDIA GB200 NVL72, NVIDIA Accelerates  OpenAI gpt-oss Models from Cloud to Edge | NVIDIA Technical Blog

    53AI,企业落地大模型首选服务商

    产品:场景落地咨询+大模型应用平台+行业解决方案

    承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

    联系我们

    售前咨询
    186 6662 7370
    预约演示
    185 8882 0121

    微信扫码

    添加专属顾问

    回到顶部

    加载中...

    扫码咨询

    扫码登录
    登录即表示您同意《53AI网站服务协议》
    服务协议

    欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

    在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

    一、 定义

    本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

    会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

    知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

    二、 账号注册与登录

    登录方式:本网站支持以下登录方式,您可根据实际情况选择:

    微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

    手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

    账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

    实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

    未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

    三、 服务内容与规范

    知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

    服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

    禁止行为:您在使用服务时不得实施以下行为:

    利用技术手段批量爬取、下载、转存知识库内容;

    将知识库内容用于商业目的或未经授权地向第三方传播;

    干扰本网站正常运行或侵犯其他用户合法权益;

    发布违法违规信息或从事违反公序良俗的活动。

    四、 知识产权声明

    权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

    有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

    侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

    五、 个人信息保护

    我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

    您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

    您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

    六、 免责声明

    内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

    不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

    第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

    七、 违约责任

    如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

    如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

    八、 法律适用与争议解决

    本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

    因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

    九、 其他

    本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

    本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

    我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


    已查阅