今天再次疯狂一把!一次生成15段动作迁移视频
comfyui吧
全部回复
仅看楼主
level 6
Nimeld 楼主
2026年09月06日 16点09分 1
level 6
Nimeld 楼主
.
.
.
4步Lora/10步/1.0MP,首帧接力上一段的尾帧,昨天一次生成4段成功了,原视频九十多秒,这次应该能一步到位了,现在去睡觉,明早收货,嘿嘿~
2026年09月06日 16点09分 2
level 6
Nimeld 楼主
.
.
.
呃~比我想的要慢,前面光加载模型跟每一段的导演台都花了一小时,现在一共360分钟了,平均每一段渲染30分钟,照个这个速度剩余五段,再加上合成对比参考的视频,还需要三个小时左右
2026年09月06日 23点09分 4
level 6
啥配置?
2026年09月07日 00点09分 5
工作流不是问题,问题是我自制的导演面板,现在还有一堆毛病没弄好,还在不停的改进,还没有上传GitHub,等弄好了再说
2026年09月07日 04点09分
5060ti 16g显存 32g内存
2026年09月07日 01点09分
@Nimeld 用的啥模型?这么不吃配置,就算分段跑一次跑这么多也很牛逼了!分辨率是多少?
2026年09月07日 02点09分
@乌漆嘛黑baby 枝剪版模型,百万像素1.0,相当于比720P大一点
2026年09月07日 03点09分
level 6
Nimeld 楼主
失败了。跑到第14段的时候出了问题,可恶[泪][泪][泪]
2026年09月07日 01点09分 6
level 1
哥们硬盘受得了吗 我5070ti加32g内存 硬盘健康度咔咔掉
2026年09月07日 07点09分 7
固态硬盘健康值没有掉,我一直在关注。我两个硬盘,其中一个是从之前老电脑上拆的机械硬盘,12年前的,那个确实不太行了,这次跑到14段出错就是他的锅,因为我下载的大模型太多了E盘存不下,有些模型就放到了机械硬盘里,用盘符链接映射到E盘的,这次就是读取机械硬盘的模型的时候出的错
2026年09月07日 09点09分
level 3
工作流发个吧
2026年09月07日 09点09分 8
只有工作流没用的,里面用的H3参数面板插件是我自己弄得,还没弄好,等我弄好了发布到GitHub
2026年09月07日 10点09分
level 1
等完成可以麻烦在下面说一下吗[呵呵]
2026年09月07日 12点09分 9
level 6
一起进步
2026年09月07日 16点09分 10
level 6
Nimeld 楼主
.
.
.
还在蹲这个工作流的同志,可以不用蹲了,这个工作流本身是存在缺陷的
之前采用的是多段工作流,把参考视频分成多段,每段工作流完成其中一段动作迁移,每段工作流生成视频后,会把最后一帧传递给下一段的工作流作为首帧约束,当时没发现问题,但是后来在PR里合成视频的时候才发现,每段视频的画面都比上一段暗一点,而且还放大了一些,到了第13段就更明显了,比第一段放大了足足26%左右,如图,注意窗户那里和画面底部的地板。
后来改变策略,换成了用上段视频的尾部22帧去约束下一段,结果生成时间翻了三倍不说,问题仍然存在,改成5帧尾部约束也一样。而且更讨厌的是每一段的画面亮度不一致,忽明忽暗。
2026年09月08日 23点09分 11
level 6
Nimeld 楼主
除此之外还有一个缺点,完全没必要在一个任务里生成那么多段视频,其中但凡一段出了问题,整个任务都会失败停止。更好的方案是一个任务只生成一段,提交多个任务,这样就算其中一个失败了,也不影响其他段的生成。也就是说一段工作流就行了,不用像帖子开头图片里那样,弄了足足15段工作流,把15段视频的生成放到一个任务里面。
.
.
.
.
.
.
关于每段画面不断放大、变暗,我最后的解决办法是去除所有来自上一段的引导,不再使用上段尾帧或者尾部5帧、22帧tail作为约束。重新裁取参考视频,第一段158帧,从第二段开始,采用上段22帧+本段136帧,这样从第二段开始,每段参考视频都包含有上一段尾部的22帧,最后一段向上凑帧到符合帧数等于5+17*n就行。这样每段生成的视频开头也包含上一段的尾部,只要不是直接从第二段开头比如159帧开始,那么就不会出现动作不衔接的现象,因为AI每次只处理一段,他不知第二段第一帧之前的画面,比如之前的运动方向、速度,就会导致第一段结尾和第二段开头动作不衔接,包含上段22帧之后就能解决这个痛点,生成视频之后去掉前面22帧就能直接使用,亲测分段之间动作几乎完美衔接,偶尔会出现动作跳帧,也可以通过剪辑完美解决,出了画面亮度偶尔会有一点点变化,几乎看不出剪辑痕迹。
.
.
.
.
.
.
而生成多段视频的任务也完全可以交给Agent,只需要把每段用的提示词、参考图和相关参数给他就行了。
我这里因为是动作迁移,所以每段提示词都是一样的,所以没有给他提示词,他会只修改每段的参考视频和节点里设置的文件名字,然后批量提交任务。如图,这是我昨天睡觉前提交的,今天早上醒来就已经全部完成了
.
.
.
5+17*n这个公式也是易错点之一,minimax只认帧数等于5+17*n,如果不符合,就会向上扩到符合帧数等于5+17*n,如果你们在用一些导演台插件的时候就容易踩这个坑,时长只要是以秒为单位就几乎不行,比如你明明填写的是6秒,最后生成的视频却超过了六秒,就是这个原因,因为6秒=6*24帧=144帧,不符合公式,会向上扩到158帧,也就导致你生成的视频最终是6.583秒,会比参考视频多出一些,后面剪辑的时候不能直接使用
2026年09月09日 00点09分 12
level 6
Nimeld 楼主
还漏了一个坑:参考视频不能有音频,也不能是静音音频,必须确保没有音轨。因为音乐节奏也是会有影响的,之前的做第一段的时候,明明第一段的前几秒角色是没怎么在动的,到2.5秒左右才开始跳舞,生成的视频却是一开始就在跳舞,动作比参考视频多了一个循环。生成几次都是这样,就是因为参考视频的音频是有节奏的音乐,去掉音轨就解决了
.
.
.
以下是我的提示词,也是agent用skill生成的
.
.
.
subject_definitions:
<Subject 1> 是目标视频唯一可见人物;身体比例、服装、发型轮廓、整体画风和身份采用 <Picture 1>,脸型、五官、眉眼轮廓和面部细节采用 <Picture 3>;<Picture 1> 与 <Picture 3> 是同一个角色。角色全身只有两条垂在胸前的双马尾,身体后侧不出现头发。
<Subject 2> 是 <Picture 2> 定义的黄昏舞台场景,保留舞台布局、左侧窗光、上方吊灯、正面柔和室内光、地面和背景层次。
<Video 1> 是舞蹈动作、动作时间轴与身体朝向的参考:提供动作段顺序、动作开始帧、循环次数、循环间隔、转身、身体朝向、空间位移和表情节奏;其画面人物不作为 <Subject 1> 的外观来源,其音频不被使用。
summary:
[reference generation] 目标视频是单镜头日式奇幻动画:<Subject 1> 在 <Subject 2> 中按 <Video 1> 的舞蹈动作顺序、循环和身体朝向运动,动作开始帧、循环次数与动作间隔跟随 <Video 1>;角色正面受室内柔光均匀照亮,头发随舞蹈大幅甩动,画面保持全幅和稳定明暗,全片无声音。
retention_analysis:
<Subject 1> (appears in [Shot 1]): fully_preserved - 身体外观与画风完全采用 <Picture 1>,脸型与五官细节完全采用 <Picture 3>,两者属于同一角色;发型结构与参考设定一致,两条双马尾始终垂在胸前,背后不出现头发。
<Subject 2> (appears in [Shot 1]): fully_preserved - 黄昏氛围、左侧窗户射入的温暖夕阳、舞台上方吊灯、正面柔和室内光、地面与背景层次保持 <Picture 2> 设定。
<Video 1> (appears in [Shot 1] motion): attribute_transfer - 舞蹈动作段顺序、动作开始帧、循环次数、循环间隔、转身、身体朝向、空间位移和表情节奏转移给 <Subject 1>;不复制其画面人物外观、画面缩放、构图、明暗或上下黑边,其音频完全忽略。
detailed_description:
目标视频采用《葬送的芙莉莲》的日式奇幻动画风格:稳定细致的描线、柔和手绘感上色、低饱和自然色调、清晰的人物轮廓,以及具有纵深和空气感的奇幻背景。
[Shot 1] 画面以 <Subject 2> 的完整黄昏舞台开场:舞台布局与 <Picture 2> 一致,温暖夕阳从画面左侧窗户射入,在舞台和角色侧缘形成低角度暖色轮廓光;上方吊灯与正面方向的室内柔光共同构成主照明,使角色脸部、前胸、手臂和服装保持明亮,正面不出现大块阴影。背景从画面上边缘延伸到下边缘,画面始终全幅填充,不出现上下黑边、黑带或信箱式构图。 <Subject 1> 站在 <Subject 2> 中与参考图对应的人物位置和景别内,身体比例、服装、两条垂在胸前的双马尾与整体画风符合 <Picture 1>,正面朝向镜头时脸型、五官、眉眼和面部细节呈现 <Picture 3> 设定并保持清晰。 <Subject 1> 从第 0 帧开始按 <Video 1> 的舞蹈参考运动:动作段出现顺序、动作开始帧、循环次数、循环间隔、转身时刻、身体朝向、空间位移和表情切换与 <Video 1> 一致,不增加或减少循环,不把后段动作提前。跳舞过程中,<Subject 1> 的两条马尾作为柔软、分离且有体积感的独立发束跟随身体运动:转身、甩头、跳跃、快速移步和急停时,发束先保持原运动方向继续摆动,再随身体新方向大幅甩回,产生明显的延迟跟随、惯性回摆和自然回落,始终与头颈、肩膀和衣服分离,不贴附在皮肤或衣物上,也不出现在人物背后。人物的眉毛、眼睛和嘴型变化与 <Video 1> 对应动作同步;角色面向镜头时视线稳定落在镜头方向,侧身或转身时使用 <Picture 1> 对应的身体角度。镜头保持固定机位,以平视、水平的角度平拍,从首帧到末帧不推拉、不摇移、不升降、不改变景别;画面缩放、背景范围和整体明暗保持稳定。
overall_soundscape:
N/A
non_diegetic_music:
N/A
.
.
.
2026年09月09日 00点09分 13
level 2
可以把ikun的视频换人物吗
2026年09月09日 07点09分 14
有参考视频跟人物的设定图就行
2026年09月09日 07点09分
level 4
动作迁移很拉,经常丢动作,要么丢一致性
2026年09月10日 04点09分 15
我遇到最多的是动作进度不一致,倒是没有遇到过丢动作
2026年09月10日 04点09分
1