首尾帧是图生视频里确定性最高的控制方式:首帧锁构图和主体,尾帧锁落幅,中间交给模型插值。但它有个硬边界——两张图的跨度不能超出模型能补全的范围。构图、光线、姿态跨度一大,中间帧就会用形变和闪变来"和稀泥"。多数首尾帧翻车不是参数没调好,是两张图本来就不该配在一起。

首帧该满足哪三个条件

主体清晰可辨、光线方向明确、画面留有运动余地。第三条最常被忽略。按"单张好看"挑出来的图往往构图饱满、主体居中,模型没有任何空间处理运动,只能让主体原地扭动,边缘跟着糊。

出首帧的时候就要替动画着想:主体偏一侧,另一侧留出天空、纵深或干净的墙面。同一批生成里,留白构图能用的比例明显高于塞满的构图——这个差距在出图那一步就决定了,后面换模型救不回来。

尾帧什么时候值得给

不是必须给。多数小幅动作,只给首帧加一段运动描述就够了,多给一张图反而多一个可能冲突的条件。两种情况值得上尾帧:一是要精确控制落点(产品最终停在画面中央、人物走到某个位置),二是运动路径复杂、只靠提示词容易跑偏。

尾帧别从另一张"好看的图"里随便挑。它和首帧必须是同一个连续动作的两端:主光方向、阴影落点、色调、景别、主体在画面里的比例都要对得上。一张特写配一张全景,中间几乎必然断裂。真要跨这么大跨度,拆成两镜,或者在中间补一张关键帧。

镜头运动和主体运动要分开写

这是新手最常犯的错。把"镜头推近、她转头看向窗外"混在一句里,模型分不清是摄影机在动还是人在动,结果两个一起动,画面糊成一团。

分开写,各一句:镜头缓慢向右横移、保持水平;她缓缓抬起右手、目光移向窗外。前者描述摄影机行为,后者描述画面内容变化。再进一步,主体动的时候镜头尽量固定,镜头大幅运动的时候主体保持简单匀速或静止——两个都大幅动,交界处最容易出鬼影和撕裂。

运镜词也别堆。推、拉、摇、移、跟、升降各自对应一套相机轨迹,同时写两个,模型会在轨迹之间插值,出来的运动哪头都不像。这部分和废片率排查里"一次只让它做一件事"是同一条原则。

三类失败,各自的补救方向

症状常见原因先试什么
形变:主体越动越不像运动幅度过大、首尾帧跨度过大降幅度词、改固定机位、用首尾帧插值、补中间关键帧
漂移:背景像水一样流动杂物太多,模型把细节当成要变化的部分提示词写明固定机位与静态背景,减少环境元素
闪烁:果冻状抖动、纹理跳变帧间一致性不足,或段尾抽到了淡出帧缩短时长、减小重绘强度、导出后掐掉末尾半秒

段尾闪帧最隐蔽:单看每段都正常,拼起来才发现最后一两帧跳一下。笨办法有效——四秒的素材当三秒半用,把尾巴掐掉再接。别指望后期能救,先让每一段自己站得住。

排查先分清两种病因

一种是"约束没生效":首帧根本没带上请求、尾帧传错了位置、提示词没拼进调用参数。另一种是"能力不支持":这个模型对这类运镜词或这种跨度本来就做不到。前者查自己的链路,后者换手段——提示词表达不出的运动,改用首尾帧差异去表达;首尾帧也撑不住的,就拆镜。

分清楚再动手,能少走一半弯路。不加判断地反复调参数、换种子,只会得到一堆看起来都不太对、但说不清哪里不对的片段。

底图本身有瑕疵时,先回到指令式编辑把图修好;需要多张参考图约束角色时,多图参考与 Bounding Box讲过它的边界——坐标框引导位置和尺度,不是硬遮罩,别拿它锁五官。

本系列另外三篇:从一句话到成片的六步流程、本地显存怎么估、发布前的标识与授权检查。

说明与免责

本文为公开资料整理与实践经验总结,仅供技术学习参考,不构成采购、投资或法律建议。

  • 文中涉及的模型版本、参数、显存门槛与许可证条款会随官方更新而变化,请以模型官方仓库、官方文档及许可证原文为准。本文不提供任何模型文件、整合包或第三方资源的下载与分发。
  • 文中提及的第三方名称、商标、模型与平台归各自权利人所有,引用仅为说明技术事实,不代表授权、背书或关联。
  • 涉及监管规则、通报与司法案例的内容为对已公开信息的整理,不构成法律意见;具体适用请以主管部门、司法机关发布的原文为准。
  • 按本文操作产生的设备配置、数据、产出物及其使用后果,由操作者自行判断与承担。如发现内容有误或已过时,欢迎指正,本文会及时修订。