我要投稿

WeClone: 用微信聊天记录微调大语言模型

发布日期：2025-04-30 16:15:23 浏览次数： 1528 作者：小众智能

通过个人微信聊天记录对大语言模型（LLM）进行微调，打造专属的数字分身。它提供从聊天数据到模型微调、从文本生成到语音克隆、从训练到部署的全链路解决方案。让你的数字分身不仅“会说你的话”，还能“听起来像你本人”。

主要功能

聊天记录训练：用微信聊天记录微调大语言模型，模仿用户说话方式。
高质量语音克隆：用0.5B参数模型和5秒语音样本，生成相似度高达95%的声音。
微信机器人绑定：将数字分身接入微信，支持自动文字和语音回复。
数据预处理工具：提供脚本将聊天记录转为训练数据，默认过滤敏感信息。
模型个性化优化：支持LoRA微调技术，让模型更符合用户语言习惯。

安装和使用

硬件要求

目前项目默认使用chatglm3-6b模型，LoRA方法对sft阶段微调，大约需要16GB显存。也可以使用LLaMA Factory支持的其他模型和方法，占用显存更少，需要自行修改模板的systemprompt词等相关配置。

需要显存的估算值：

方法	精度	7B	14B	第 30 页	70 字节	x B
完整（或bf16fp16)	32	120GB	240GB	600GB	1200GB	18x 国标
完整（pure_bf16)	16	60GB	120GB	300GB	600GB	8x 国标
冻结/LoRA/GaLore/APOLLO/BAdam	16	16GB	32GB	64GB	160GB	2x 国标
QLoRA	8	10GB	20GB	40GB	80GB	x 国标
QLoRA	4	6GB	12GB	24GB	48GB	x/2 国标
QLoRA	2	4GB	8GB	16GB	24GB	x/4 国标

环境搭建

建议使用 uv，这是一个非常快速的 Python 环境管理器。安装uv后，您可以使用以下命令创建一个新的Python环境并安装依赖项，注意这不包含xcodec（音频克隆）功能的依赖：

git clone https://github.com/xming521/WeClone.git
cd WeClone
uv venv .venv --python=3.9
source .venv/bin/activate
uv pip install --group main -e .

注意

训练以及推理相关配置统一在文件settings.json

数据准备

请使用PyWxDump提取微信聊天记录。下载软件并解密数据库后，点击聊天备份，导出类型为CSV，可以导出多个联系人或群聊，然后将导出的位于的文件夹放在目录即可，也就是不同人聊天记录的文件夹一起放在。示例数据位于 data/example_chat.csv。wxdump_tmp/exportcsv./data./data/csv

数据预处理

项目默认去除了数据中的手机号、身份证号、邮箱、网址。还提供了一个禁用词词库blocked_words，可以自行添加需要过滤的词句（会默认去掉包括禁用词的整句）。执行脚本对数据进行处理。./make_dataset/csv_to_json.py

在同一人连续回答多句的情况下，有三种处理方式：

文件	处理方式
csv_to_json.py	用逗号连接
csv_to_json-单句回答.py（已废弃）	只选择最长的回答作为最终数据
csv_to_json-单句多轮.py	放在了提示词的'history'中

模型下载

首选在Hugging Face下载ChatGLM3 模型。如果您在 Hugging Face 模型的下载中遇到了问题，可以通过下述方法使用魔搭社区，后续训练推理都需要先执行来使用魔搭社区的模型。由于模型较大，下载过程比较漫长请耐心等待。export USE_MODELSCOPE_HUB=1

export USE_MODELSCOPE_HUB=1 # Windows 使用 `set USE_MODELSCOPE_HUB=1`
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

魔搭社区的文件需要更换为 Hugging Face 的modeling_chatglm.py

配置参数并微调模型

（可选）修改 settings.json选择本地下载好的其他模型。
修改以及来调整显存占用。per_device_train_batch_sizegradient_accumulation_steps
可以根据自己数据集的数量和质量修改、、等参数。num_train_epochslora_ranklora_dropout

单卡训练

运行进行sft阶段微调，本人loss只降到了3.5左右，降低过多可能会过拟合，我使用了大概2万条整合后的有效数据。src/train_sft.py

python src/train_sft.py

多卡训练

uv pip install deepspeed
deepspeed --num_gpus=使用显卡数量 src/train_sft.py

实战演习

场景1：使用浏览器demo简单推理

python ./src/web_demo.py

场景2：使用接口进行推理

python ./src/api_service.py

场景3：使用常见聊天问题测试

python ./src/api_service.py
python ./src/test_model.py

场景4：部署到聊天机器人

AstrBot方案

AstrBot 是易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书。

使用步骤：

部署 AstrBot
在 AstrBot 中部署消息平台
执行启动api服务python ./src/api_service.py
在 AstrBot 中新增服务提供商，类型选择OpenAI，API Base URL根据AstrBot部署方式填写（例如docker部署可能为 http://172.17.0.1:8005/v1），模型填写gpt-3.5-turbo
微调后不支持工具调用，请先关掉默认的工具，消息平台发送指令：，否则会没有微调后的效果。/tool off reminder
根据微调时使用的default_system，在 AstrBot 中设置系统提示词。