LoRA 训练完全指南：从文本到图像的技术解析

> 本文整理自 AI 训练实践经验，涵盖大语言模型（LLM）和扩散模型（图像/视频）的 LoRA 训练方法，并对比两者的核心差异。

—

一、LoRA 核心原理

1.1 什么是 LoRA？

LoRA（Low-Rank Adaptation）是一种参数高效微调技术。它的核心思想是：不去重新训练整个模型，而是只在模型的某些层旁边添加”小插件”。

原始权重: W₀ (维度 d×d)
LoRA更新: ΔW = B × A (维度 d×r × r×d)
最终权重: W = W₀ + ΔW

其中 `r` 是秩（rank），通常远小于 `d`。这就是”低秩”的含义。

1.2 为什么要用 LoRA？

| 对比项 | 全参数微调 | LoRA |
|——–|———–|——|
| 显存占用 | 需要加载整个模型 | 只需加载 LoRA 参数 |
| 训练时间 | 几天到几周 | 几小时到几天 |
| 存储大小 | 与原模型相同 | 仅几 MB 到几百 MB |
| 推理成本 | 原模型 | 原模型 + LoRA |
| 效果 | 最优 | 通常能达到 85-95% |

1.3 LoRA 的数学本质

假设我们有一个预训练好的权重矩阵 `W₀ ∈ ℝ^(d×k)`。

– 全参数微调：直接更新 `W₀`，变成 `W = W₀ + ΔW`
– LoRA：冻结 `W₀`，用两个小矩阵 `A ∈ ℝ^(d×r)` 和 `B ∈ ℝ^(r×k)` 的乘积来近似 `ΔW`

由于 `r << min(d, k)`，参数量从 `d×k` 减少到 `d×r + r×k`。

—

二、文本大模型（LLM）的 LoRA 训练

2.1 训练类型

LLM 的 LoRA 训练主要分为两类：

#### 知识注入型 LoRA
– 目标：让模型学习特定领域的知识
– 训练数据：教科书、论文、文档、技术wiki
– 典型场景：
– 医疗咨询模型
– 法律问答模型
– 金融分析模型
– 特定编程语言专家

#### 风格塑造型 LoRA
– 目标：让模型模仿特定的说话风格或写作风格
– 训练数据：目标风格的文章、对话记录
– 典型场景：
– 模仿某位作家的文风
– 特定角色的对话风格
– 某种专业报告风格
– 客服话术定制

2.2 训练数据准备

#### 数据格式

{
  "messages": [
    {"role": "system", "content": "你是一位专业的Java架构师"},
    {"role": "user", "content": "如何设计高并发系统？"},
    {"role": "assistant", "content": "设计高并发系统需要考虑..."}
  ]
}

#### 数据量建议
| 类型 | 最低量 | 推荐量 | 质量要求 |
|——|——–|——–|———-|
| 知识注入 | 100条 | 1000-5000条 | 准确、结构化 |
| 风格塑造 | 50条 | 200-1000条 | 一致、纯正 |

#### 数据清洗要点
– 去除重复内容
– 统一格式和术语
– 移除敏感信息
– 保持风格一致性

2.3 训练配置

#### 基础配置示例

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                          # 秩，越大越接近全参数微调
    lora_alpha=32,                 # 缩放因子
    target_modules=[               # 目标层
        "q_proj", "v_proj",       # Attention层
        "k_proj", "o_proj",        # 可选
        "gate_proj", "up_proj",    # FFN层（对知识注入很重要）
        "down_proj"
    ],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

#### 关键参数说明

| 参数 | 说明 | 知识型推荐 | 风格型推荐 |
|——|——|———–|———–|
| `r` | 秩，决定参数量 | 8-16 | 4-8 |
| `lora_alpha` | 缩放因子，通常设为 2×r | 16-32 | 8-16 |
| `target_modules` | 应用LoRA的层 | 全部包含 | 仅Attention |
| `learning_rate` | 学习率 | 1e-4 ~ 3e-4 | 5e-5 ~ 1e-4 |

2.4 训练技巧

#### 知识注入技巧
1. 分层学习率：底层用较小学习率，顶层用较大学习率
2. FFN层很重要：知识主要存储在FFN层，务必包含
3. 数据格式：使用结构化格式（JSON）比纯文本更好
4. 多次epoch：知识学习可能需要3-5个epoch

#### 风格塑造技巧
1. 数据要纯：同一风格的数据混合其他风格会破坏效果
2. 避免过拟合：风格型LoRA容易过拟合，epoch要少（1-2次）
3. 仅用Attention层：减少参数量，避免破坏模型原有知识
4. learning_rate要低：风格学习不需要太强的更新

2.5 训练示例

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

加载模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b",
    load_in_4bit=True,
    device_map="auto"
)

准备训练
model = prepare_model_for_kbit_training(model)

配置LoRA
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
输出: trainable params: 42M || all params: 6.7B || trainable%: 0.63%

训练
training_args = TrainingArguments(
    output_dir="./lora_output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=1e-4,
    warmup_steps=100,
    logging_steps=10,
    save_steps=500
)

—

三、图像/视频扩散模型的 LoRA 训练

3.1 与LLM的关键区别

| 维度 | LLM LoRA | 图像/视频 LoRA |
|——|———-|—————|
| 目标 | 修改文本输出 | 修改视觉生成 |
| 训练数据 | 文本对 | 图像/视频 |
| 网络结构 | Transformer | UNet + VAE + CLIP |
| 关键层 | Attention的QKV | UNet的CrossAttention |
| 推理方式 | 文本生文本 | 文本生图像 |

3.2 图像 LoRA 类型

#### 人物角色 LoRA
– 训练数据：该人物的5-20张不同角度、表情的照片
– 触发方式：通过提示词或嵌入触发
– 要点：需要多角度、多光照、多表情样本

#### 画风 LoRA
– 训练数据：特定画师的30-100张作品
– 触发方式：通过风格提示词触发
– 要点：数据要纯，混入会破坏风格

#### 服装/物品 LoRA
– 训练数据：物品的10-30张不同角度照片
– 触发方式：提示词 + 图像
– 要点：背景要多样化，避免过拟合

#### 概念 LoRA
– 训练数据：特定概念（如某种姿势、动作）的多张图
– 触发方式：提示词触发
– 要点：需要覆盖概念的各种变体

3.3 训练数据准备

#### 图像要求

分辨率: 512×512 或 768×768（根据模型）
格式: PNG/JPG
大小: 建议 1-5 MB
预处理: 裁剪、背景去除、调整亮度

#### 标签/提示词

{
  "image": "person_photo.png",
  "caption": "1girl, solo, portrait, blonde hair, blue eyes, smiling, professional photo"
}

#### 数据集结构

dataset/
├── img/
│   ├── 001.png
│   ├── 002.png
│   └── ...
├── meta/
│   ├── 001.json  # 或 captions.csv
└──.toml

3.4 训练配置

#### 基础配置示例（Stable Diffusion）

[general]
enable_bucket = true
resolution = "512,512"
batch_size = 1

[[datasets]]
resolution = 512
batch_size = 1

[[datasets.subsets]]
image_dir = "./img"
caption_file = "./meta/captions.csv"

[train]
recursive = true
shuffle_captions = true
keep_tokens = 1

[optimizer]
optimizer_type = "AdamW"
learning_rate = 1.0e-4
unet_lr = 1.0e-4
text_encoder_lr = 5.0e-5

[parameters]
network_module = "networks.lora"
network_dim = 16
network_alpha = 8
train_network = true

[lora]
rank = 16
alpha = 16

#### 关键参数说明

| 参数 | 说明 | 推荐值 |
|——|——|——–|
| `network_dim` | LoRA秩 | 4-32 |
| `network_alpha` | 缩放因子 | dim的一半 |
| `resolution` | 图像分辨率 | 512或768 |
| `batch_size` | 批量大小 | 1-4 |
| `learning_rate` | 学习率 | 1e-4 ~ 1e-3 |

3.5 训练技巧

#### 避免过拟合
– 数据量要足够（太少会过拟合）
– 增加分辨率
– 使用正则化标签

#### 避免欠拟合
– 增加训练步数
– 提高学习率
– 检查数据质量

#### 风格训练要点
– 数据纯净度最重要：混入其他风格会前功尽弃
– 分辨率要一致：不同分辨率混用会影响效果
– 重复图片要删除：重复数据会导致过拟合

#### 人物训练要点
– 多角度：正面、侧面、仰视、俯视
– 多表情：自然、微笑、严肃
– 多背景：室内、室外、不同场景
– 去除背景：最好使用白底或透明背景

3.6 训练脚本示例

# 使用 kohya_ss 训练
python train_network.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --train_data_dir="./dataset" \
    --output_dir="./output" \
    --resolution="512,512" \
    --network_module="networks.lora" \
    --network_dim=16 \
    --network_alpha=16 \
    --learning_rate=1e-4 \
    --num_train_epochs=10 \
    --batch_size=1 \
    --gradient_accumulation_steps=1 \
    --lr_scheduler="cosine" \
    --lr_warmup_steps=500 \
    --save_every_n_epochs=2 \
    --mixed_precision="fp16" \
    --caption_extension=".txt" \
    --cache_latents \
    --optimizer="AdamW8bit"

—

四、LLM 与图像 LoRA 核心对比

4.1 训练范式对比

LLM LoRA:
  文本数据 → Tokenize → 训练QKV/FFN层 → 修改生成风格/知识

图像 LoRA:
  图像数据 → VAE编码 → 训练CrossAttention → 修改像素生成

4.2 关键差异总结

| 方面 | LLM LoRA | 图像 LoRA |
|——|———-|———–|
| 训练目标 | 文本概率分布 | 图像像素生成 |
| 核心网络 | Transformer Decoder | UNet |
| 关键层 | Attention (Q/K/V) | CrossAttention |
| 数据形态 | token序列 | 图像tensor |
| 损失函数 | Cross-Entropy | MSE (latent) |
| 过拟合表现 | 开始胡言乱语 | 开始产生噪点/伪影 |
| 欠拟合表现 | 风格/知识不明显 | 效果与原模型无异 |

4.3 训练策略差异

#### 数据量
– LLM：风格型50-1000条，知识型1000-10000条
– 图像：人物5-20张，画风30-100张

#### 学习率
– LLM：通常更低（1e-5 ~ 1e-4）
– 图像：通常更高（1e-4 ~ 1e-3）

#### Epoch
– LLM：风格1-2，知识3-5
– 图像：通常5-30（根据数据量）

4.4 为什么不能互换？

LLM 的 LoRA 作用于 自回归生成 过程：
– 输入: `[USER] 你好`
– 输出: `[MODEL] 你好！有什么…`
– LoRA 修改的是: 预测下一个token的概率分布

图像扩散的 LoRA 作用于 去噪生成 过程：
– 输入: 噪声 + 文本embedding
– 输出: 干净图像
– LoRA 修改的是: UNet中text_conditioning的CrossAttention

两者的数学目标和优化方向完全不同。

—

五、实用建议

5.1 什么时候用 LoRA？

| 场景 | 推荐方案 |
|——|———-|
| 想让AI用特定语气说话 | ✅ 风格型LoRA |
| 想让AI学习某个专业知识 | ✅ 知识型LoRA |
| 想生成特定人物图像 | ✅ 人物LoRA |
| 想让AI记住某个事实 | ❌ 用RAG，LoRA不适合 |

5.2 常见问题排查

#### LLM LoRA 问题
| 问题 | 原因 | 解决 |
|——|——|——|
| 风格不明显 | r太小/数据少 | 增大r或增加数据 |
| 破坏原模型能力 | 学习率太高 | 降低学习率 |
| 过拟合 | epoch太多 | 减少epoch |
| 复读机 | 数据重复 | 去重 |

#### 图像 LoRA 问题
| 问题 | 原因 | 解决 |
|——|——|——|
| 无法触发 | 提示词不准确 | 检查tag |
| 图像崩 | 学习率太高 | 降低学习率 |
| 过拟合 | 步数太多/数据少 | 减少步数或增数据 |
| 与其他LoRA冲突 | 训练数据重叠 | 单独测试 |

5.3 LoRA 的局限性

1. 不能添加全新知识：LoRA只能调整现有知识，不能凭空创造
2. 风格可能冲突：多个风格LoRA叠加可能冲突
3. 参数量限制：LoRA的容量有限，复杂技能可能学不全
4. 推理开销：虽然训练轻量，但推理时仍需加载原模型

—

六、总结

LoRA 是一种优雅的模型定制技术，无论是文本大模型还是图像扩散模型，都能用相同的核心思想实现高效微调。

| | LLM LoRA | 图像 LoRA |
|–|———|———–|
| 最佳用途 | 风格定制、知识注入 | 角色、画风定制 |
| 核心优势 | 保持通用能力 | 多样化生成 |
| 训练成本 | 中等 | 较低 |
| 数据需求 | 百条到千条 | 几张到百张 |

理解两者的区别，能帮助你更好地选择训练策略，避免走弯路。

—

_本文由小笔整理，记录 AI 模型定制化训练的技术经验。_