大模型微调

发布日期：2025-05-19 22:34:33 浏览次数： 2372

作者：AI思考的鱼

微信搜一搜，关注“AI思考的鱼”

关于大模型微调的方式有很多，大模型微调是一种通过调整预训练模型参数来适应特定任务的技术，在机器学习和深度学习领域广泛应用。

1. Fine-Tuning

Fine-tuning 是指在保留大部分预训练权重的基础上，针对目标任务重新训练整个网络或者部分层的参数。这种方法通常适用于目标数据集较大且具有代表性的情况

2. Parameter-Efficient Fine-Tuning (PEFT)

Parameter-efficient fine-tuning 方法旨在减少可更新参数的数量，从而降低计算成本并提高效率。常见技术包括 LoRA（Low-Rank Adaptation）、Prefix Tuning 和 P-Tuning 等。

LoRA 的核心思想是在原有矩阵上引入低秩分解后的两个小型矩阵作为增量模块进行优化，仅需少量额外存储空间即可实现性能提升。

Prefix-Tuning，一种轻量级替代方法，用于对自然语言生成任务进行微调，在使语言模型参数冻结的同时，去优化一个参数量少的 continuous task-specific vector（称为prefix）。Prefix-Tuning方法启发于prompting的灵感，prompting允许子序列字符填加到此前缀后，并把prompting作为“virtual tokens”。我们将prefix-tuning应用于GPT-2，用于表格到文本的生成，也应用于BART，以进行文本摘要。

BART（Bidirectional and Auto-Regressive Transformer）是 Facebook AI（FAIR）在 2019 年提出的一种预训练文本生成模型，它结合了 BERT 的双向编码能力和 GPT 的自回归解码能力，适用于文本修复、文本摘要、问答系统、文本生成等任务。

BART 采用 Transformer 编码器-解码器（Encoder-Decoder）架构：

编码器（Encoder）：类似 BERT，输入完整的序列，进行双向建模。

解码器（Decoder）：类似 GPT，逐步预测下一个 token，进行自回归文本生成。

P-Tuning 全称为 Prompt-Tuning，它是一种微调大语言模型（Large Language Model, LLM）的方法。与传统的全参数微调（Fine-tuning）不同，P-Tuning 只在模型输入层或中间层插入可学习的“Prompt Embeddings”（也称 Prompt Tokens/Prefix 等），从而极大减少微调参数量。其核心思想可以归纳为：

·冻结（freeze）大部分或全部原始模型参数

·引入少量可训练的参数（Prompt Embeddings）

·通过梯度反向传播仅更新这部分可训练参数

模型在训练过程中会将这些 Prompt Embeddings 拼接到原输入或模型内部隐藏层的输入里，从而让预训练模型更好地针对任务进行表征/生成。因为只训练这部分 Prompt Embeddings，而模型的主体参数并未改变，所以对硬件资源和训练数据需求更小，微调速度也更快。

提示调整示例：

输入序列: [Prompt1][Prompt2] “这部电影令人振奋。”

问题: 评价这部电影的情感倾向。

答案: 模型需要预测情感倾向（例如“积极”）

提示: 没有明确的外部提示，[Prompt1][Prompt2]作为引导模型的内部提示，这里的问题是隐含的，即判断文本中表达的情感倾向。

3. Knowledge Distillation

Knowledge distillation 将复杂的大规模教师模型的知识迁移到更轻量的学生模型中去完成相同的功能。此过程一般涉及软标签生成以及温度缩放等技巧。