最常见的误解
看到「坐标级布局控制」,很多人的第一反应是:终于能像局部重绘那样,框住一块区域只改这一块了。
官方模型卡写得很直白:Bounding Box 引导的是位置和尺度,不把像素约束成硬遮罩(boxes guide placement and scale; they do not constrain pixels to a hard mask)。
所以它是「先摆位、再由提示词决定改什么」,不是「框内重绘」。理解错这一层,后面怎么调都会觉得模型不听话。
坐标怎么用
模型接受的布局语法是 0–1000 的归一化网格,不是像素值。你在提示词里用这个坐标系标出若干区域,指定每个区域放什么主体;生成之后,再通过提示词对这些区域做改色、移动、替换或移除。
因为它不是硬遮罩,框外的画面仍可能跟着语义变化。想要严格锁死背景,还是得回到遮罩/局部重绘那一套流程,两者是互补关系,不是替代。
实操上建议一次先标两到三个区域。区域越多,语义互相干扰的概率越高,出了问题也难定位。
多图参考:真正省掉的是那一堆节点
Klein 在同一个 checkpoint 里支持最多 10 张参考图,编辑、文生图、多图合成走的是同一条路。
这件事的意义不在「多了个功能」,在于过去做人物一致性或商品换装,要在 ComfyUI 里堆 ReferenceLatent、IP-Adapter、ControlNet 一长串节点,显存和排错成本都很高;现在这部分被收进模型内部了。工作流短了,出错点自然少。
注意「最多 10 张」是上限不是建议值。参考图越多,输入条件越杂,先拿两三张验证一致性,够用就别加。
为什么你的短提示词总是出通用图
这是换模型后最集中的抱怨。原因不在采样器,在训练数据:Klein 是在完整场景描述上训练的,无论是文生图、编辑还是带框布局,它期待的都是一段把主体、环境、光线、构图交代清楚的描述。
官方给的解法是 Prompt Upsampler——一个从 Qwen3.5-9B 微调来的 9B 辅助模型,跑在图像模型之前,把一句话扩写成完整场景描述。官方模板默认启用,仓库里也附了 system_prompts.json,可以换成自己习惯的大模型来做这件事,只要系统提示词的目标一致。
一句话、不加 upsampler、直接出图 → 得到一张「没什么错但也没什么特点」的图,这是符合预期的行为,不是模型退化。
顺带一提,这个辅助模型本身比图像模型还大。如果两者在同一张卡上装不下,官方参考实现给的做法是:先单独跑 upsampler 把描述存下来,再用这段描述生成。
两个别踩的预期
文字渲染:模型支持在图内写字和改字,但官方模型卡自己就注明了渲染文字「可能不准确或出现变形」。需要交付的字标、包装字、海报标题,别拿生成结果直接当成品,后期排版该做还是得做。
base 和 distilled 别混用:蒸馏版 16 步、无 guidance,是日常生成和自托管用的;base 版未蒸馏、50 步、CFG 3.5,是留给微调、LoRA 训练和研究的。用 base 跑日常任务,速度慢、参数还得自己调,容易误判成「模型不行」。
一条可复现的验证顺序
- 512 分辨率、单张、固定 seed,只跑文生图最小链路;
- 加上 Prompt Upsampler,对比同一 seed 下的差别;
- 加两张参考图,看主体一致性;
- 最后加 Bounding Box,从两个区域开始。
每一步只加一个变量,出问题立刻知道是谁的锅。固定 seed 也很关键——不固定 seed,你根本分不清变化来自参数还是来自随机。
分享工作流 JSON 时,顺手记下核心版本、前端版本、模型文件名、量化档、VAE、节点版本和 seed。这类信息在复现时比截图有用得多。
说明与免责
本文为公开资料整理与实践经验总结,仅供技术学习参考,不构成采购、投资或法律建议。
- 文中涉及的模型版本、参数、显存门槛与许可证条款会随官方更新而变化,请以模型官方仓库、官方文档及许可证原文为准。本文不提供任何模型文件、整合包或第三方资源的下载与分发。
- 文中提及的第三方名称、商标、模型与平台归各自权利人所有,引用仅为说明技术事实,不代表授权、背书或关联。
- 涉及监管规则、通报与司法案例的内容为对已公开信息的整理,不构成法律意见;具体适用请以主管部门、司法机关发布的原文为准。
- 按本文操作产生的设备配置、数据、产出物及其使用后果,由操作者自行判断与承担。如发现内容有误或已过时,欢迎指正,本文会及时修订。
评论 0