支持私有化部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


OpenAI开源gpt-oss大模型,本地测试可用性比较高

发布日期:2025-08-07 10:35:27 浏览次数: 1591
作者:极客开源

微信搜一搜,关注“极客开源”

推荐语

OpenAI重磅开源两款大模型,性能接近GPT-4.1系列,开发者可本地部署商用!

核心内容:
1. 开源模型gpt-oss-120b和gpt-oss-20b的性能表现与适用场景
2. 技术限制与微调教程详解
3. 开源战略对AI开发者生态的深远影响

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

#OpenAI 迫于竞争压力,终于推出了 gpt-oss-120b 和 gpt-oss-20b 两款开源大语言模型,意在与 #DeepSeek 和 #Qwen 争夺开发者生态。这次开源包含开放参数、支持本地部署、兼容链式推理,其中 gpt-oss-120b 的性能接近 o4-mini,并采用 Apache 2.0 许可证支持商用。
可以关注公众号 #极客开源 👆获取最新一手 #AI大模型 #开源项目 信息,如果这篇文章对你有用,可以点个“推荐”,听说会影响公众号的 #推荐算法
模型版本
本次 #开源 两个 #MoE 架构的推理模型:
  • gpt-oss-120b:激活参数量 5.1B,性能更强,可在单张 Nvidia 显卡上运行
  • gpt-oss-20b:激活参数量 3.6B,更轻量化,甚至可在 16GB 内存的普通笔记本上运行
性能表现
根据 EQBench 评测结果,两个模型分别达到 GPT-4.1-mini 和 GPT-4.1-nano 的水平。在长篇创意写作方面,gpt-oss-120b 接近 Qwen3-30B-A3B 的表现。
在本地环境测试中,gpt-oss-120b 在 Apple M3 Ultra 512G 上大概能以43-45 token/s 运行,这个速度还可以。
技术限制
模型原生上下文长度仅为 4K token,虽然通过 YaRN 位置编码缩放和滑动窗口注意力扩展到了 131,072 token,但超过 4K 后召回性能可能会显著下降。

OpenAI 发布了其开源模型 OSS 系列的#微调教程,由于当前 Expert MXFP4 量化格式的限制,推荐使用 Hugging Face TRL 库进行微调。其他库(如 Unsloth)的兼容性尚待进一步开发。

该教程以 oss-20b 模型为例,展示了如何在模型的系统提示中添加新的“推理语言”选项,并使用多语言推理数据集进行#监督微调

官方示例在一张 H100 80G 显卡上,使用 1000 条数据进行微调,耗时约 18 分钟。考虑到成本效益,建议用户租用 GPU 资源而非自行购买或使用性能较低的显卡,目前 H100 80G 的租赁成本约为每小时 2 美元。

该教程提供了示例代码,内容精简且易于理解,有助于学习微调技术的实际应用。用户可以快速掌握微调流程。

战略意义
对于 #AI工具 开发者而言,这次开源是重大利好,无需担心云端限速、商业闭源或法律风险。OpenAI 的开源策略也将吸引顶级 AI 研究员使用并改进模型,就像 DeepSeek 和 Qwen 通过社区贡献不断迭代优化一样,形成良性的生态循环。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询