我要投稿

GGUF文件详解

发布日期：2025-03-24 21:21:21 浏览次数： 2046

作者：Python伊甸园

微信搜一搜，关注“Python伊甸园”

目前，市面上有各种不同的大模型部署工具，比如ollama、vllm、sglang等，但是很多人还并不了解大模型文件格式之间的区别，本次我们来聊一下ollama专用的GGUF格式。

1、什么是GGUF

GGUF 格式的全名为（GPT-Generated Unified Format），由llama.cpp创始人Georgi Gerganov设计的二进制文件格式，专为高效存储和加载大模型优化。

简单来说就是，模型在训练完成之后需要对架构、参数等进行存储，用的格式是GGUF。

以下为GGUF文件示例：

2、为什么采用GGUF

在传统的大模型开发中多数使用 PyTorch 进行开发，但在部署时会面临依赖包太多、版本管理等问题，因此才有了GGUF格式（GGUF是长时间优化后的产物）。

GGUF文件主要是因为它针对大模型的存储、加载和部署场景进行了多项优化，解决了传统格式的痛点。包含了所有的模型信息（如元数据、张量数据），同时支持跨平台使用，无需依赖外部文件或复杂配置。

3、GGUF的特点

3.1 高效性

GGUF作为一种二进制格式，相较于文本格式的文件，可以更快地被读取和解析。二进制文件通常更紧凑，减少了读取和解析时所需的I/O操作和处理时间。

3.2 量化支持

GGUF支持多种量化类型（如Q8_K、Q6_K等），通过降低模型精度减少文件大小，适用于不同硬件资源场景。

GGUF支持多种量化类型，每种类型都有其特定的位宽和量化方法，以满足不同的性能和精度需求。以下是一些常见的量化类型：

4、GGUF的适用框架

主要用于llama.cpp项目，支持GPU、CPU推理。

常见的llama.cpp项目有ollama、LMStudio、LocalAI等。

5、GGUF压缩计算示例

以ollama平台为例，其默认下载的模型通常是 4-bit 量化，也就是 Q4_0 的压缩方式。

以DeepSeek-R1:32B模型为例。B指参数量为10亿，那么32B就是存在320亿模型参数。

那么原始模型大小的计算如下：

（1）确定参数数量

模型有 32×10**9个参数。

（2）确定每个参数的精度

原始精度为 FP16，每个参数占用 16 位或 2 字节

（3）计算总字节数

总字节数=32×10**9×2=64×10**9字节=64GB

以4比特量化后模型大小的计算如下：

（1）理解4位量化

4位量化意味着每个参数用 4 位表示

（2）计算量化后的总位数

总位数（量化后）=32×10**9×4=128×10**9位

（3）将位转换为字节

总字节数（量化后）=128×10**9/8=16×10**9字节=16GB

但是，通过实际加载模型可以看到，其占用的显存近22G。

主要原因在于：

（1）量化元数据

量化过程中，每个参数组的权重需要存储额外的元数据（如缩放因子和零点），用于反量化计算。

例如，若采用分组量化（Group-wise Quantization），每64个参数为一组，每组需存储1个FP16缩放因子（2字节）和1个零点（1字节）。

对于32B参数（320亿个参数），分组数 = 32B / 64 = 5亿组 → 元数据总大小 = 5亿组 × (2+1)字节 ≈ 1.5GB

（2）中间激活值（Activations）

推理过程中，每层输出的中间结果（激活值）需暂存在显存中。

以32B模型为例，处理2048 tokens的序列时，激活值占用约3-5GB显存（具体与模型架构和序列长度强相关）。

（3）推理框架的额外开销

硬件（如GPU）要求内存地址按特定字节对齐（如128位对齐），导致实际分配的显存可能略大于理论值。

某些框架会预分配缓存空间以加速计算（如KV Cache），进一步增加显存占用。

总之，对于ollama拉取的32B模型来说，24G显存是刚刚好。

6、离线加载GGUF模型

我们以“DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf”部署为例：

1、创建一个Modelfile文件，文件内容如下。

FROM C:/Users/admin/.ollama/models/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q8_0.gguf
PARAMETER temperature 0.6SYSTEM """你是乐于助人的帮手，擅长中文多轮对话，回答需严谨且符合事实。>"""

其中FROM为量化的gguf模型，根据自己电脑上模型位置进行修改。

2、引入离线模型

打开终端，运行以下命令创建模型：

ollama create model-name -f Modelfile

其中model-name为自己命名，以下为命名示例：

ollama create deepseek-r1-distill-qwen-7b -f ./Modelfile

3、离线模型测试

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-31

上下文管理：从Agent失效到高效运行的完整指南

2025-07-31

Ollama 偷偷上线图形界面，再也不用敲命令行了！

2025-07-31

深入学习Manus最新论文: 2个必学基础，1个惊人洞察

2025-07-31

突发，扎克伯格宣布个人超级智能很快降临，眼镜是AI理想终端

2025-07-31

拆解Agent项目：MindSearch

2025-07-31

我们和新华社 “国重” 的老师聊了聊｜ToB AI 十问

2025-07-31

华人创业者打造"首个AI原生投行"：1200万美元A轮背后的商业逻辑

2025-07-31

WAIC 现场告诉企业的 4 句话：AI 落地就这么简单

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

高效 Agents 构建指南

2025-05-23

SpringAI Alibaba实战文生图、聊天记忆功能

2025-06-01

忽视小模型和知识库，企业AI应用必将是死路一条

2025-05-07

从RAG到CoT再到MCP，一文读懂AI Agent落地难题｜大模型研究

2025-05-07

CAG 与 RAG：哪种方法能带来性能更好的人工智能

2025-05-07

AIGC合规落地全景图 | 如何做好AIGC数据合规

2025-06-07

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

2025-05-20

大家都在问

国内企业开发的农业AI大模型有哪些？

2025-07-30

实测ChatGPT“学习模式”，它能成为你的专属AI家教？

2025-07-30

AI在企业落地：为什么90%的项目都卡在了这4个坎上？

2025-07-30

解读gork的思维链：gork怎么处理问题分解？

2025-07-30

AI 应用开发，还需要意图识别吗？

2025-07-29

AI还有哪些机会？你是否适合切入？

2025-07-29

Cursor Meetup 杭州站分享实录：小团队如何用 AI 撑起万级日活产品？

2025-07-28

独家｜对话夸克AI眼镜宋刚：如何把整个阿里巴巴塞进一副眼镜里？

2025-07-27

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB