我要投稿

免费GPU算力部署体验gpt-oss-20b

发布日期：2025-08-08 10:19:12 浏览次数： 1534

作者：AI大模型应用开发

微信搜一搜，关注“AI大模型应用开发”

前言

OpenAI 正式发布开源语言模型 gpt-oss-120b 与 gpt-oss-20b。这是自 GPT-2 以来，OpenAI 首次开放高性能语言模型的权重，并且采用了灵活的 Apache 2.0 开源协议，允许开发者自由使用、部署甚至定制。

其中，gpt-oss-20b性能对标GPT-3.5（o3-mini），需16GB显存运行，可部署于消费级设备、本地推理、离线使用等场景。如果你没有足够强的显卡，可使用飞桨AI Studio免费GPU算力部署体验gpt-oss-20b。

飞桨AI Studio每日免费提供GPU算力资源，具体配置如下：

• V100 16GB显存：每日免费使用4小时
• VT100 32GB显存：每日免费使用2.7小时

创建项目

打开https://aistudio.baidu.com/account，点击右上方“登录”按钮，用百度账号登录即可。

打开https://aistudio.baidu.com/my/project，点击右上方“创建项目”，选择“Notebook”，会弹出下方的对话框。填写“项目名称”，点击创建。

在打开的页面中，点击上面的“未运行”

在弹出的页面中，选择“基础版”运行环境。“基础版”运行环境免费不限时，用于下载Ollama和gpt-oss模型。等下载完后再切换到GPU环境。

环境启动后，点击右上角的“专业开发”，进入Codelab IDE界面

Codelab IDE界面如下

安装ollama

注意：文件需要保存到/home/aistudio/work目录才能持久化保存。

下载ollama

飞桨AI Studio无法访问github，需通过代理网站ghproxy.cn进行下载。命令如下

cd ~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.11.3/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz

下载模型

通过环境变量OLLAMA_MODELS指定模型的存放目录为 ~/work/models，并启动ollama服务

mkdir -p  ~/work/models  && export OLLAMA_MODELS=~/work/models 
~/work/bin/ollama serve

新建终端，输入命令下载gpt-oss模型

~/work/bin/ollama pull gpt-oss

如果发现下载速度低于2MB/s，可尝试重新执行pull(但不要重启ollama serve的进程)。

启动gpt-oss

切换到GPU环境

打开https://aistudio.baidu.com/my/project，停止运行中的CPU环境

点击项目，在项目详情页面中，点击上面的“未运行”

在弹出的页面中，选择“V100 16GB”运行环境。每天免费获得8点算力，可用4小时，昨天用剩的算力可以结余到今天使用。

环境启动后，点击右上角的“专业开发”，进入Codelab IDE界面

启动ollama服务

通过环境变量OLLAMA_MODELS指定模型的存放目录为 ~/work/models，并启动ollama服务

mkdir -p  ~/work/models  && export OLLAMA_MODELS=~/work/models 
~/work/bin/ollama serve

确认gpt-oss完成下载

新建终端，输入以下命令查看

~/work/bin/ollama list

输出结果可以看到gpt-oss的信息

NAME              ID              SIZE     MODIFIED      
gpt-oss:latest    f2b8351c629c    13 GB    6 minutes ago

启动gpt-oss

新建终端，输入以下命令启动gpt-oss

~/work/bin/ollama run gpt-oss

运行成功后就可以开始体验gpt-oss了。

测试

下图为经典问题：9.9和9.11比较，哪个更大

总结

本文介绍利用飞桨AI Studio每日免费提供GPU算力资源部署体验gpt-oss。进一步，还可以通过frp内网穿透让windows部署的智能体开发平台(例如dify和Coze Studio)连接飞桨服务器上部署的ollama。另外，我们也可以利用GPU算力学习其它知识：模型微调，模型训练，深度学习训练等。

如果您觉得本文对您有帮助，欢迎关注、点赞、转发、推荐

#ai #openai #chatgpt #免费GPU算力 #飞桨