微信扫码
添加专属顾问
我要投稿
想玩转大模型却受限于硬件?教你用llama.cpp轻松量化Qwen模型,小显存也能流畅运行! 核心内容: 1. 模型量化的原理与常见格式解析 2. 手把手安装llama.cpp的详细步骤 3. 实战演示Qwen2.5-VL模型的量化操作
想体验最新大模型却苦于显存不足? 今天我们就教你如何用llama.cpp,轻松将从Hugging Face 或 ModelScope下载的模型进行量化处理!只需简单几步,就能大幅降低显存需求,让你的“小”硬件也能流畅运行大模型。
量化 (Quantization) 是一种通过降低模型参数的数值精度来压缩模型大小的技术。在深度学习中, 模型参数通常以32位浮点数 (FP32) 存储, 通过量化可以将其转换为更低精度的表示形式, 从而减少模型的内存占用和计算开销。
常见的量化格式有F16、Q2_K、Q3_K_S、Q3_K_M、Q3_K_L、Q4_K_S、Q4_K_M、Q5_K_S、Q5_K_M、Q6_K,量化后的性能如下,以7B大小的模型为例。
量化格式 | 困惑度 | 模型大小 |
---|---|---|
F16 | 5.9066 | 13.0G |
Q2_K | 6.7764 | 2.67G |
Q3_K_S | 6.4571 | 2.75G |
Q3_K_M | 6.1503 | 3.06G |
Q3_K_L | 6.0869 | 3.35G |
Q4_K_S | 6.0215 | 3.56G |
Q4_K_M | 5.9601 | 3.80G |
Q5_K_S | 5.9419 | 4.33G |
Q5_K_M | 5.9208 | 4.45G |
Q6_K | 5.911 | 5.15G |
llama.cpp由开发者Georgi Gerganov打造,是一款开源C++推理引擎框架。llama.cpp无需依赖高端显卡,仅凭纯CPU就能运行。
本文中用到的系统型号为Ubuntu 24.04,显卡为NVIDIA GeForce RTX 4070 显存12G。
首先从githup上下载llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
进入到llama.cpp路径下,参考 docs/build.md
文档进行编译,我们是带GPU的,可以执行以下命令。
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
如果你的电脑没有GPU,参照文档描述可以执行
cmake -B build
cmake --build build --config Release
等待编译完成,表示llama.cpp安装成功了。
我们以Qwen2.5-VL的3B模型为例,进行q_4量化。先从hugging face或者是modelscope平台上下载该模型。
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-VL-3B-Instruct', local_dir="model_path/")
然后执行convert_hf_to_gguf.py
将hf模型转化为gguf格式
python convert_hf_to_gguf.py --outfile convert_model_save_path/ your_model_path/
接着进行Q4量化
cd build/bin
./llama-quantize convert_model_save_path/Qwen2.5-VL-3B-Instruct-F16.gguf q4_0
等待程序执行完,Q4量化就完成了。查看下量化结果,模型的体积从6G减少到了1.7G
再用llama.cpp测试一下对话效果。
./llama-run convert_model_save_path/ggml-model-Q4_0.gguf "你是谁"
首先部署一个Ollama,我们用docker部署。
docker pull ollama/ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 12434:11434 --name ollama ollama/ollama
测试ollama是否部署成果
编写Modelfile
FROM /root/.ollama/models/ggml-model-Q4_0.gguf
TEMPLATE """
<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_end|>"
构建模型
ollama create my-qwen25 -f ./Modelfile
运行模型
ollama run my-qwen25
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-07-31
Ollama 发布桌面客户端,能让用户轻松管理 Ollama 模型,无需依赖复杂的命令行操作
2025-07-31
别再乱选了!Dify、Coze 与 n8n 的真实差距,多数人没看透
2025-07-31
Coze开源,能否挑战LangChain主导地位?
2025-07-31
扣子开源,三天揽获1.5W GitHub Star
2025-07-31
官方AMA:扣子为什么要开源?
2025-07-31
Coze开源文档资料清单
2025-07-31
手把手教你本地部署!京东JoyAgent全攻略:从零拥有一个企业级的AI Agent
2025-07-31
扣子罗盘(Coze Loop)开源版本地部署,构建一站式AI Agent调试、评估、监控平台
2025-07-23
2025-06-17
2025-06-17
2025-07-23
2025-07-14
2025-07-12
2025-07-27
2025-05-29
2025-05-12
2025-05-14
2025-07-31
2025-07-31
2025-07-31
2025-07-30
2025-07-30
2025-07-30
2025-07-29
2025-07-29