「模型」这个词在 AI 绘画圈里被用得太宽了。Checkpoint、LoRA、VAE、ControlNet 都被叫作模型,但它们的体积差着三个数量级,作用的地方也完全不在同一层。分不清的直接后果是:同时挂三个 LoRA 互相打架、换了个 VAE 让整张图发灰、加载了 ControlNet 却不知道怎么给条件图。
Checkpoint:整套权重,是「底座」
Checkpoint 是完整的主模型,通常 2–7 GB。它打包了三样东西:
- UNet:去噪的主力,决定画面长什么样。
- CLIP / 文本编码器:把提示词翻译成向量。
- VAE:在像素空间和潜空间之间来回转换。
一次生成只能用一个 Checkpoint,它是整个流程的根节点。所谓「换模型」,九成指的是换这个。
不同 Checkpoint 的差别不只是画风。它们对提示词的响应习惯、默认分辨率、甚至色彩倾向都不一样。同一段提示词换底座出图差异巨大,这不是你写错了。
LoRA:插在注意力层上的小补丁
LoRA 通常 10–200 MB,全称是 Low-Rank Adaptation。它不动原模型权重,而是在注意力层的权重矩阵旁并联一对低秩矩阵,用很小的参数量改变模型的行为。
所以 LoRA 必须挂在某个 Checkpoint 上才能工作,单独打不开。它擅长的是:特定人物长相、特定画风、特定服饰或构图习惯。
关键限制是叠加会互相污染。三个 LoRA 各给 1.0 权重,效果不是「三个特点都有」,而是都变形。经验做法是总权重控制在 1.5 以内:主 LoRA 0.8–1.0,辅助的压到 0.3–0.5。
另外,LoRA 和底座的配对很重要。在 SDXL 上训的 LoRA 挂到 SD 1.5 上不会报错,但效果是乱的——因为注意力层的维度对不上,加载器通常会静默跳过。
VAE:只管「翻译」,不管「画什么」
VAE 很小,通常 300–900 MB,职责单一:把潜空间里的张量解码成人能看的像素图,以及把输入图编码回潜空间。
它不改变构图和内容,但深度影响色彩与细节锐度。同一个模型换 VAE,可能从「通透」变成「灰蒙蒙」。
最常见的两个坑:
- 缺 VAE:画面整体发灰、对比度低、颜色发闷。这不是提示词的问题。
- VAE 不匹配:SDXL 的 VAE 用到 SD 1.5 上,直接出黑图或纯色块。
大部分 Checkpoint 已经把 VAE 打包进去了,正常情况下不需要单独挂。只有底座明确说明「不含 VAE」时才需要额外指定。
ControlNet:另一条条件通道
ControlNet 体积和 LoRA 同量级,但作用方式完全不同。它不是改风格,而是给模型额外喂一张条件图,约束画面的空间结构。
| 类型 | 条件图是什么 | 典型用途 |
|---|---|---|
| Canny / Lineart | 边缘线稿 | 照着手绘线稿上色 |
| Depth | 深度图 | 锁定前后景关系 |
| OpenPose | 骨骼关键点 | 精确控制人物姿态 |
| Seg / Mask | 分区色块 | 指定每块区域画什么 |
| Tile | 原图切片 | 放大时补细节 |
ControlNet 有独立的权重(strength)和起止步数。强度 0.6–0.8 是常用区间:太低等于没约束,太高会让画面僵硬、失去生成的自然感。
四者的关系,一句话记住
Checkpoint 是底座,只能有一个;LoRA 是风格补丁,可以叠但要控总权重;VAE 是翻译器,决定颜色正不正;ControlNet 是外挂条件,决定构图听不听话。
| 文件 | 体积量级 | 能同时用几个 | 出问题时的典型症状 |
|---|---|---|---|
| Checkpoint | 2–7 GB | 1 | 画风完全不对、提示词响应异常 |
| LoRA | 10–200 MB | 多个(总权重 ≤1.5) | 人物脸崩、风格混杂、细节糊 |
| VAE | 300–900 MB | 1 | 发灰、黑图、色彩发闷 |
| ControlNet | 200 MB–1.5 GB | 可叠 2 个 | 构图不受控、画面僵硬 |
排查顺序
出图不对时,按这个顺序排除,比乱试参数快得多:
- 先确认底座对不对(画风基调由它决定)。
- 再看 VAE 有没有缺失(发灰基本就是它)。
- 然后逐个关掉 LoRA,确认是不是叠加冲突。
- 最后才动 CFG、步数、采样器这些参数。
顺序反了会浪费时间:参数调到天荒地老,也救不回一个挂错的 VAE。
评论 0