微调：LoRA / QLoRA 速览

先别急着微调

90% 想微调的需求其实不需要。优先尝试：

1. 更好的 prompt（few-shot / 思维链）
2. 更强的模型（haiku → sonnet → opus）
3. RAG（私有知识）
4. 工具调用（动态信息）

只有当这些都不够时才考虑微调。

何时真的需要微调

• 风格 / 语气：要模型固定用某种风格写（很难 prompt 出来）
• 格式严格：必须输出特定 JSON 结构、不能错
• 小模型替代大模型：用 1B 微调版 完成 70B 的活，省成本
• 领域知识：医疗 / 法律 等需要稳定输出术语
• 数据量足够：至少 100–1000 条高质量样本

全量微调 vs LoRA vs QLoRA

LoRA = Low-Rank Adaptation，只训练两个小矩阵注入到原权重。 QLoRA = LoRA + 4-bit 量化原模型，进一步省显存。

2026 年个人微调标准流程：QLoRA。

数据准备

{"messages": [{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
{"messages": [{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}

OpenAI / Hugging Face / Unsloth 都吃这个格式。

质量 > 数量：100 条精挑过的样本好过 10000 条噪声。

QLoRA 微调 Llama / Qwen（用 Unsloth）

pip install unsloth transformers trl peft accelerate bitsandbytes

from unsloth import FastLanguageModel
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

# 1. 加载模型（4-bit 量化版）
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

# 2. 加 LoRA 适配器
model = FastLanguageModel.get_peft_model(
    model,
    r=16,                     # LoRA rank
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
    lora_dropout=0,
)

# 3. 加载数据
dataset = load_dataset("json", data_files="data.jsonl", split="train")

# 4. 训练
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    args=SFTConfig(
        output_dir="./out",
        num_train_epochs=3,
        per_device_train_batch_size=2,
        learning_rate=2e-4,
        logging_steps=10,
        save_steps=100,
    ),
)
trainer.train()

# 5. 保存（只存 LoRA 权重，几十 MB）
model.save_pretrained("./qwen-lora")

24GB 显卡（4090 / 3090）能微调 7B 模型——成本几乎为 0。

微调 OpenAI / Claude

云上微调更省心（也更贵）：

# OpenAI
client.fine_tuning.jobs.create(
    training_file=file_id,
    model="gpt-4o-mini-2024-07-18",
)

# 训练完用法和普通模型一样
client.chat.completions.create(model="ft:gpt-4o-mini:org:name:xxxxx", ...)

Claude 微调主要通过 AWS Bedrock 等渠道提供，可用性、模型支持范围会随官方政策变化——做之前看 Anthropic 最新文档。

评估微调效果

1. 留 10% 样本做测试集
2. 跑微调模型 + 原模型，让 GPT-4 / Claude 当评委打分
3. 看准确率提升 + 风格匹配度

微调的常见坑

• 过拟合：数据少 + epoch 多 → 模型只会记答案。控制 epoch ≤ 3
• 格式没规范：训练数据里 JSON 各种风格 → 推理时也乱
• 评估不严：看几个例子觉得"差不多就行" → 上线后翻车
• 微调代替 RAG：知识更新频繁的场景该用 RAG 不是微调

一个判断流程

问题能 prompt 解决？      → 用 prompt（5 分钟）
问题需要私有知识？        → RAG（半天）
问题需要风格 / 格式严格？ → 微调（几天）
问题需要新能力（推理）？  → 微调一般也不行，等下一代模型

下一篇讲本地部署 LLM。