最常见的误解

看到「坐标级布局控制」,很多人的第一反应是:终于能像局部重绘那样,框住一块区域只改这一块了。

官方模型卡写得很直白:Bounding Box 引导的是位置和尺度,不把像素约束成硬遮罩(boxes guide placement and scale; they do not constrain pixels to a hard mask)。

所以它是「先摆位、再由提示词决定改什么」,不是「框内重绘」。理解错这一层,后面怎么调都会觉得模型不听话。

坐标怎么用

模型接受的布局语法是 0–1000 的归一化网格,不是像素值。你在提示词里用这个坐标系标出若干区域,指定每个区域放什么主体;生成之后,再通过提示词对这些区域做改色、移动、替换或移除。

因为它不是硬遮罩,框外的画面仍可能跟着语义变化。想要严格锁死背景,还是得回到遮罩/局部重绘那一套流程,两者是互补关系,不是替代。

实操上建议一次先标两到三个区域。区域越多,语义互相干扰的概率越高,出了问题也难定位。

多图参考:真正省掉的是那一堆节点

Klein 在同一个 checkpoint 里支持最多 10 张参考图,编辑、文生图、多图合成走的是同一条路。

这件事的意义不在「多了个功能」,在于过去做人物一致性或商品换装,要在 ComfyUI 里堆 ReferenceLatent、IP-Adapter、ControlNet 一长串节点,显存和排错成本都很高;现在这部分被收进模型内部了。工作流短了,出错点自然少。

注意「最多 10 张」是上限不是建议值。参考图越多,输入条件越杂,先拿两三张验证一致性,够用就别加。

为什么你的短提示词总是出通用图

这是换模型后最集中的抱怨。原因不在采样器,在训练数据:Klein 是在完整场景描述上训练的,无论是文生图、编辑还是带框布局,它期待的都是一段把主体、环境、光线、构图交代清楚的描述。

官方给的解法是 Prompt Upsampler——一个从 Qwen3.5-9B 微调来的 9B 辅助模型,跑在图像模型之前,把一句话扩写成完整场景描述。官方模板默认启用,仓库里也附了 system_prompts.json,可以换成自己习惯的大模型来做这件事,只要系统提示词的目标一致。

一句话、不加 upsampler、直接出图 → 得到一张「没什么错但也没什么特点」的图,这是符合预期的行为,不是模型退化。

顺带一提,这个辅助模型本身比图像模型还大。如果两者在同一张卡上装不下,官方参考实现给的做法是:先单独跑 upsampler 把描述存下来,再用这段描述生成。

两个别踩的预期

文字渲染:模型支持在图内写字和改字,但官方模型卡自己就注明了渲染文字「可能不准确或出现变形」。需要交付的字标、包装字、海报标题,别拿生成结果直接当成品,后期排版该做还是得做。

base 和 distilled 别混用:蒸馏版 16 步、无 guidance,是日常生成和自托管用的;base 版未蒸馏、50 步、CFG 3.5,是留给微调、LoRA 训练和研究的。用 base 跑日常任务,速度慢、参数还得自己调,容易误判成「模型不行」。

一条可复现的验证顺序

  1. 512 分辨率、单张、固定 seed,只跑文生图最小链路;
  2. 加上 Prompt Upsampler,对比同一 seed 下的差别;
  3. 加两张参考图,看主体一致性;
  4. 最后加 Bounding Box,从两个区域开始。

每一步只加一个变量,出问题立刻知道是谁的锅。固定 seed 也很关键——不固定 seed,你根本分不清变化来自参数还是来自随机。

分享工作流 JSON 时,顺手记下核心版本、前端版本、模型文件名、量化档、VAE、节点版本和 seed。这类信息在复现时比截图有用得多。

说明与免责

本文为公开资料整理与实践经验总结,仅供技术学习参考,不构成采购、投资或法律建议。

  • 文中涉及的模型版本、参数、显存门槛与许可证条款会随官方更新而变化,请以模型官方仓库、官方文档及许可证原文为准。本文不提供任何模型文件、整合包或第三方资源的下载与分发。
  • 文中提及的第三方名称、商标、模型与平台归各自权利人所有,引用仅为说明技术事实,不代表授权、背书或关联。
  • 涉及监管规则、通报与司法案例的内容为对已公开信息的整理,不构成法律意见;具体适用请以主管部门、司法机关发布的原文为准。
  • 按本文操作产生的设备配置、数据、产出物及其使用后果,由操作者自行判断与承担。如发现内容有误或已过时,欢迎指正,本文会及时修订。