天诺课程知识库

短视频 · 直播 · 获客 · 企业 AI

第二课:从图片到视频——换人、换商品、导演图与数字人

主题 02 / 14 · 课程阅读版

本章目录

第一课解决了“图片有没有把对象交代清楚”。这一课接着处理:当人物开始转身、商品被拿起、镜头切换之后,怎样判断整段视频仍然做对了,以及哪里出错时应该回到哪一步。

课程原主题为“AI视频生成、人物与商品替换、导演图和数字人”。读完本课,你应当能为一个视频任务选择制作路线,写清参考材料的分工,并对失败片段提出有依据的修改要求。

本课依据相关录音转写和课堂照片、录像画面整理。“课堂内容”重述当时的讲授;“教学解释”“练习”是整理者补充。图片可以点击放大。本次没有重新运行生成工具,也没有全量听校原音;工具名称、按钮、价格和参数不清楚的地方保留缺口。

一、先说清楚,你要“做”的是哪一种视频

课堂把多种操作放在一起演示,工具也可能把它们都叫“复刻”。但输入材料和要保留的东西不同,检查结果的方法就不同。

制作路线 主要输入 要解决的事 怎样检查才没有跑题
图片生成视频 已审好的图片、动作及镜头要求 让静态对象产生动态变化 图片中的人物、商品、环境在运动中是否保持合理
原视频人物替换 原视频、目标人物参考、替换说明 把原片中的人换成指定人物 人物是否换对,动作、镜头和其他保留项是否符合要求
原视频商品或服装替换 原视频、商品实拍、关键状态参考 改变画面中的商品或穿着 商品在各个动作阶段是否都正确,而非只有开头正确
借鉴结构重新制作 参考内容、自己的商品资料、新脚本与镜头 保留表达思路,重新安排内容 新内容是否成立、事实是否适用于新商品
数字人口播 人物参考或训练片、文案、声音 让人物表达指定台词 台词、声音、口型、出镜时机是否协调

这个表是对课堂的教学整理。本知识库沿用的“一比一复刻”指原视频人物替换;借鉴表达结构重做,称为模仿视频。 “一比一”说明任务目标,不表示生成结果已经达到逐帧一致。

课堂内容|录音15,00:31:20—00:35:08。 演示分别上传参考图、参考视频与参考音频,并在要求中明确引用各自对应的素材。随后播放换人及换裤子示例。讲师又强调:生成过一次满意结果,并不能保证下一次也稳定。

教学解释: 在写提示词之前,先完成一句话:“我要改变的是____,要保留的是____,分别以____为依据。”例如,换人任务可以要求保留原片的镜头顺序与动作;数字人口播则可能重新生成说话画面。两种任务都出现同一个人,但不能据此认为采用同一条流程。

二、长视频先拆镜头,决定哪些值得生成

课堂内容|录音02,00:16:21—00:19:44。 讲师将短展示与多镜头营销视频分开讨论:较长内容可以只生成难拍的开头或局部镜头,其余采用实拍,再剪辑组合。举书展示的动作,现场拍摄可能比先做图、再生成更直接;旅居素材则可把人物表达与现场生活画面组合。

因此,不应把“用了AI”理解为所有画面都必须重新生成。课堂提到的30秒等长度,是当时划分任务的讲解方式,不是所有软件的统一能力上限。真正影响路线的是镜头数量、动作复杂度、现有素材和需要证明的商品事实。

教学例子: 假设要做一条介绍桌面收纳盒的视频,有三段:桌面杂乱、打开收纳盒展示分格、收纳后的桌面。先问每一段要让观众看见什么,再决定制作方式。

镜头任务 选择时要问的问题 合理的安排举例
展示杂乱情境 已有真实场景能否直接拍?是否只是情境示意? 有现成桌面就实拍;合成情境应按示意使用
展示盒盖及分格 开合方式、隔板数量是否必须准确? 实物容易拍清时,保留实拍作为结构依据
展示收纳后的效果 需要真实容量证据,还是画面风格参考? 真实装入情况用实拍;风格方案可先做静态示意

这不是课上的收纳盒案例,而是用于理解路线选择的练习。重点是把生成用在合适的镜头上。一个吸引人的开头做好了,整条视频仍可能缺少商品说明、声音或结尾;这些工作分别接到第三主题的文案结构和第四主题的剪辑组织。

三、人物与服装替换:先把参考关系摆清楚

课堂内容|录音01,01:30:24—01:38:14。 上午演示先选服装、模特和动作参考,再要求图片中的人物穿上指定服装,模仿视频动作。讲师特别解释:如果还需要包、鞋,也要说明。随后查看上身图与场景,并提醒检查刺绣、包的位置等细节。现场继续上课等待任务,不能把这段输入和审图过程直接写成整条成片已验收。

第一步:分清谁提供身份,谁提供商品,谁提供动作

人物图主要回答“换成谁”,商品图回答“穿什么、拿什么”,原视频回答“原来发生了怎样的动作和镜头变化”。音频又是独立的一层。上传数量多,不代表这些分工已经清楚。

课堂内容|录音15,00:32:07—00:32:36。 工具演示中用明确引用的方式说明参考哪个图、哪个视频、哪个声音。这说明的是素材分工;不同工具能否使用相同的引用符号,需要在实际界面确认。

教学示例: “视频A提供原有动作和镜头顺序;图片B、C提供目标人物的脸部与全身体型;图片D提供衣服款式。先检查人物穿上这件衣服的静态画面,再尝试指定片段。声音暂按任务单独处理。”这是一种需求表达,不是已测试、能保证生成成功的固定提示词。

第二步:先确认人物真的穿对了

课堂内容|录音02,02:35:09—02:38:22。 讲师回看一种常见遗漏:直接将商品图和参考视频提交生成,没有先把模特与衣服融合。课堂建议先看上身效果,满意后继续视频;不合身时也可能需要调整模特选择。

服装产品图、人物上身图、参考视频与成片的素材关系
补充对照:课堂另一张服装流程图。对照产品、人物上身、参考视频与结果各自的位置,理解不同素材分别提供什么信息。这张照片不属于本节旗袍原图,不能用来核对那件旗袍的纹理。 来源:1025/IMG_0525 课堂照片。 点击图片查看大图。

看这张图时,沿着“产品与模特→上身图→参考视频→结果”走一遍。中间的上身图使问题变得可见:服装款式是否变了、体型是否适配、包鞋是否漏掉。如果这一步已经错误,后面应先修图片。静态合格之后,仍需检查运动中的形变。

第三步:把人物的身体信息补够

只有大头照时,工具可能拿到了脸部参考,却没有得到肩宽、身形和整体体态的依据。晚上的画布演示也当场指出,仅用大脸参考会有比例问题(录音23,01:14:58—01:15:05)。

输入全身体型图片作为人物视频参考
人物体型参考。左侧提供全身外观,右侧为课堂展示画面。重点是只给脸部照片无法交代完整身体比例;有了全身参考,生成结果仍需检查。 来源:1025/IMG_0540 课堂照片。 点击图片查看大图。

教学解释: 当成片脸像目标人物、身体却不像时,不要只继续提高脸部相似度。先检查是否提供了全身参考,并分别看远景、近景、转身后的外观。反过来,提供全身图也不等于解决了所有遮挡与动作问题。

第四步:用画布保留输入与结果的对应关系

课堂内容|录音23,01:11:33—01:20:47。 画布将视频、人物图和生成任务放在同一处,通过连线复用参考,多个结果可以并排比较。重点是看得清“这次用了哪些材料、得到哪个版本”,避免在多个对话里反复翻找。

配套课堂录像 IMG_0587 的末尾约262秒明确说为节省算力不继续生成。因而,本段可以学习上传、连接与比较的组织方式,不能把连线完成当成这条分支的成片成功。

不使用画布也可以保留这种关系。练习时给材料和结果命名,例如“动作参考A、人物B、商品C、试作01”,再记录本次改了哪一项。不要把三次不同输入的输出混在一起,最后只凭印象说某个工具更好。

四、红薯换土豆:为什么前半段对了还会失败

课堂内容|录音02,01:43:26—01:45:42、01:48:40—01:51:30。 原片里的人在介绍农产品,商品在画面中的面积较小,又会被拿起、靠近镜头。课堂尝试把红薯改成土豆,并提出先截取不同状态的画面,在图片里处理商品,再把多张参考用于视频。

到后面的结果复看(02:39:16—02:42:52),讲师指出土豆形状异常,前后段也不一致。课堂解释是小商品细节没有被充分抓住,进一步要求对拿起、掰开、吃等关键状态分别取图和处理。

这里的“关键帧”应该怎样理解

本课沿用课堂的说法,指值得拿出来检查、提供参考的关键时刻截图,不是视频编码中的技术参数。选择依据是对象发生了什么变化,不必机械地每隔一秒截一张。

下面按课堂提到的动作整理检查思路;并非断言每个动作都在同一段15秒素材里完整出现。

关键状态 要看什么 单张正面商品图可能遗漏什么
商品还在地上 外形、表面、周边场景与数量 手拿起来后朝向及遮挡变化
拿在手中 手与商品的比例、接触位置 近距离外观和被手遮住的部分
靠近镜头展示 表皮、形状、局部细节 后续旋转或拆开后的状态
掰开、切开或食用 商品状态改变后是否仍符合实物 内部形态不能只凭外观图推定

教学解释: 按上述思路修改,需要完成三个小循环:先确定问题发生的时刻,再补能说明那一状态的真实材料,最后检查新生成片段的前后衔接。只把某一张截图修好,还不能认定它前后两秒也已正确。

生成以后怎样复看

先正常速度看完整段,辨认明显跳变;再回到拿起、转动、遮挡和切镜附近慢看或暂停对照。记录问题时写清“哪个时刻、哪个对象、与什么依据不符”。这是基于课堂案例补充的审看办法,不是课堂给出的统一验收标准。

例如,“后半段土豆变长,和目标商品特写不一致”,比“这个视频很假”更能指导下一步。前者可以回查该状态的参考和生成结果;后者可能让工具把光影、背景一起重做,商品问题却还在。

课堂提出多图补充,并复看了结果,但没有提供可复算的成功率。学习时保留这个做法及适用问题,不能写成“补五张图就必定成功”。

五、旗袍、裙子、豆浆与牛奶:何时应该重新编排

课堂内容|录音02,02:05:00—02:08:04、02:45:31—02:52:59。 讲师提醒,裙子可能有摆动裙摆的动作,旗袍展示的动作条件不同;参考视频的风格和产品跨度太大,机械替换容易失效。豆浆与牛奶的例子进一步涉及产品样式、文字及多个场景。

豆浆换成牛奶后画面与字幕仍不一致的课堂对照
比较左右包装与字幕:右侧商品画面变为牛奶,字幕仍在说豆浆。换商品时,画面、文案和字幕需要一起检查。 来源:1025/IMG_0530 课堂照片。 点击图片查看大图。

这张课堂照片中,左侧是豆浆包装,右侧是牛奶包装,字幕仍出现“豆浆”。至少在这一帧,画面对象与文字没有一起完成对应修改。课件还讨论了包装文字与场景变化;仅凭照片不能检查整段视频中的每一次变化。

教学解释: 找对标时,除了题材相似,还要看动作依赖什么。摆裙摆依赖服装结构,拧瓶盖依赖包装方式,倒出液体又涉及产品状态。新商品不具备这个条件,要求“全部照着做”本身就需要调整。

可以按三个问题决定是否继续替换:

  1. 原动作是否适用于新商品?若不适用,先改动作或另选参考。
  2. 原文案与字幕是否仍然成立?商品名称、成分、规格、卖点都要重新核对。
  3. 真正想借鉴的是某个画面,还是介绍顺序与节奏?如果是后者,转向脚本与分镜改编更明确。

课堂给出的另一条路

产品跨度大时,课堂转向分析参考视频的脚本、提示与关键画面,再带入新商品组织故事板。转写中的若干模型名称不稳定,本课保留操作关系:理解参考表达什么→按新商品重写→准备对应关键画面→审查后再生成。

例如,借鉴“提出常见误解→展示关键细节→说明使用条件”的结构时,三个内容环节可以重新写;旧商品的动作、规格和承诺不能跟着自动继承。这属于模仿结构,不属于原视频换人。

课堂对某个仅用文字生成的结果说过“80%相似”。这只是当时的观感,没有评分方法;不作为你判断任务完成的量化门槛。

六、复杂动作与多套换装:修正前先定位错误

复杂舞蹈并非只有一张脸的问题

课堂内容|录音02,02:43:40—02:45:27。 演示讨论舞蹈动作多、人物体貌没有正确替换的情况,并提出“黑白深度视频”来辅助约束动作。

复杂舞蹈人物替换失败的课堂对照
课堂把原视频和失败结果并列,并讨论体貌与复杂动作。照片只呈现一个时刻;下方关于深度参考的文字仍需完整流程核验。 来源:1025/IMG_0527 课堂照片。 点击图片查看大图。

课件保留了这条改进方向,但名称、工具链、生成深度参考的具体操作和可复现结果尚未完整核实。不能把普通视频去色理解为已经得到可约束动作的深度参考。 图中的一段概括文字,也不足以形成逐按钮教程。

本课能先教清楚的判断是:出现问题时,分别问“动作没跟上”“体貌没换对”“衣服在运动时穿模”中的哪一个发生了。明确类别后,才能决定补全身参考、检查动作条件,还是另外核验专门的控制方法。不能把它们全部归咎于脸部照片。

五套衣服只换对三套,应该怎样反馈

课堂内容|录音16,00:42:35—00:47:13。 讲师展示一段多套服装替换,指出第一、第二套等部分正确,第三、第四套出现问题。随后提出将错误视频和正确参考一起提交,说明目标与未换全的问题,让工具帮助完善提示。

这里有一个必须保留的现场条件:演示中没有找到预期的正确视频,临时用另一段视频假设为正确参考来说明原理;最后明确没有继续生成。因而这段可支持“怎样表达对照关系”,不能证明新的提示已修好五套换装。

教学补充: 真正尝试前,先为五套服装建立对应表:第几套出现在原片哪个时段、要换成哪张商品图、当前结果哪里不符。时间段应从自己的原片观察,不能照搬别的案例。

可把反馈写成:“视频A是原片,视频B是当前错误结果,图片C至G依次对应五套服装。请先核对每段的对应关系,指出遗漏或含糊的要求,再整理修改方案。第三、第四段尚未换成指定服装,请优先处理;修改后仍要检查其余段落是否受影响。”这是教学示例,没有在特定工具上实测。

正反参考必须真正反映目标。随便挑一条漂亮视频当“正确样例”,可能在人物、动作和衣服上同时引入新变化,使对照失去意义。

七、导演图:先看清每个镜头准备出现什么

课堂内容|录音09,01:43:12—01:51:35。 第三天补充了导演图路线。讲师先展示人物、产品、环境和分镜,再播放对应视频;不喜欢哪个人物、背景或镜头,先修改图片,确认后再生成动态内容。讲师也说,如果更重效率、能承受尝试成本,可以直接生成,因此这是一条有条件的路线。

人物、产品、分镜与环境分区呈现的课堂导演图
从左侧人物与产品,到中间分镜,再到右侧环境,观察材料怎样组成同一份镜头计划。来源为10月27日课堂录像 IMG_0983 第33秒;画面小字按原状保留。 点击图片查看大图。

这幅画面来自课堂录像。左上放人物,左下放产品,中间按时间排列镜头,右侧放环境和机位参考。读图时先忽略装饰界面,检查各部分是否彼此一致:镜头里是不是同一个人、同一件商品,动作是否能在该环境发生。

课堂的制作顺序

  1. 将参考内容、产品图和描述要求交给分析工具,得到视频与分镜的描述。课堂提到Gemini。
  2. 用描述和产品图生成导演图。课堂接着提到ChatGPT生图。
  3. 审查人物、背景、商品和各段镜头,针对不满意部分修改。
  4. 确认后交给视频生成工具,再检查动态结果。课堂提到豆包及其他工具,没有证明每个工具都可互换。

这里记录的是当时的串联方式,不是对当前产品能力的核验。可迁移的重点是每一步的交付:分析后得到可审的描述,生图后得到可见的计划,生成视频后再核对动作。

课堂导演图提示模板的分区要求
这张课堂模板将角色、产品、分镜和环境分区。小字可点击放大查看;图上的装饰参数及认证图标不能当成文件属性或商品认证证据。 来源:1027/IMG_0985 课堂照片。 点击图片查看大图。

这张提示模板照片将角色、产品多视角、分镜和环境拆成区域。它同时包含装饰性的界面元素与参数文字。图片上写着4K或某个镜头参数,不表示实际生成文件已具备该参数;绘制一个认证图标也不能证明商品取得认证。 这些应和真实商品信息、最终文件属性分开核对。

不会写复杂模板,也可以先填写这张镜头表

以下仍用教学收纳盒例子,假设实际材料只确认“盒盖可打开、内部有四格”,其他性能未知。

镜头 要说明的内容 图片阶段能先检查什么 动态阶段还要检查什么
桌面上展示盒子 让观众认识商品外观 颜色、外形、摆放位置与参考一致 镜头靠近时外形没有改变
打开盒盖 展示开合方式和内部四格 开盖状态与实物一致,格数正确 手与盒盖接触合理,开合方向正确,格数不漂移
放入文具 展示一个具体收纳情境 物品和格子的大小关系合理 物品进入盒内,不穿过隔板;不凭生成画面证明容量

如果表格第二行还不知道盒盖如何打开,就先补实拍,不能让导演图替你决定产品结构。如果静态图对、开盖动作错,问题进入动态阶段;继续润色导演图的标题,通常不能直接修好开合动作。

八、数字人口播:文案、声音、人物和出镜是四件事

课堂内容|录音15,00:35:08—00:40:27。 演示建议准备自然讲话的人物片段,不要只机械读数字;随后展示声音、人物形象、台词朗读和各分镜是否显示数字人的设置,并播放口播及英语样例。

可按四层理解这条流程:文案确定说什么,声音决定怎样读出,人物画面承载说话表情与口型,剪辑安排在哪些镜头出镜。课堂的数字人批量界面又将这些内容与其他画面组合。

层次 操作后要检查的内容 不能据此自动认定
文案 用词、数字、商品说明是否正确 改好文案就已生成合格人像
声音 是否漏读、错读,节奏和停顿是否合适 音色像本人就一定口型同步
人物画面 口型、表情和动作是否与讲话协调 单帧像本人就代表整段自然
出镜安排 哪些镜头显示人物,哪些用商品或场景补充 每一句台词都必须让数字人占满画面

课堂内容|录音15,00:35:59—00:36:46。 讲者承认方言克隆和口型会有问题,提出某些情况下直接使用原声。课程中关于哪些语言可用的说法有工具与时间条件,不扩展成今天所有数字人工具的能力清单。

第三天也展示过从无台词的人物片段,结合文字、声音再做口型的路线(录音09,01:53:29—01:56:40)。这是另一种准备方式;不应与第四天“自然说话的训练片”拼成一套适用于所有工具的上传规范。

教学解释: 一段英语样例可播放,不等于翻译、商品事实和发音都正确。学习时分开听台词与看口型,逐句确认内容,再看人物是否自然。课堂说的“99%真实”没有提供评测,不作为验收分数。

九、把一次试作变成可以判断的过程

本节是整理者根据上述案例归纳的手工试作记录方式。它服务于学习,不代表本次已经完成视频生成,也不要求安装新技能。

开始前写清任务。 选择换人、换商品、图生视频或数字人口播中的一条主线;列出改变项和保留项。取一个能暴露关键动作的短片段,具体时长由素材与工具条件决定。

整理必要输入。 标明每份素材提供人物、商品、动作还是声音信息。遇到未知商品结构或关键状态,补资料或缩小任务,不把推测当作确认。

先检查可见的中间结果。 该路线如果需要上身图或导演图,先审这些图片。再生成动态结果,并保留本次输入和版本,方便比较。

按问题决定下一步。 下表用于定位,不是承诺每一类错误只存在一个原因。

观察到的情况 先回查哪里 下一步举例
静态上身图已经穿错 商品图、人物图、替换范围 补服装细节,明确包鞋是否一起改变
开头商品正常,拿起后变形 关键动作附近的画面与状态参考 补该状态资料,检查修改后整段衔接
脸接近,身体明显不对 全身体型参考与远近景表现 补足体型依据,再看不同姿态
换了包装,字幕还说旧商品 文案、字幕、商品事实映射 改编相关表达,逐段核对内容
多套衣服只换了几套 时段与参考图的一一对应 列出每段目标,定位遗漏,再审所有段落
声音正确但嘴型不匹配 声音与口型生成环节 定位错位句子,核对工具输入及生成结果
偶尔成功,重复做不稳定 输入、设置、失败类型与版本记录 保留多次结果,不能只展示最好的一次

讲师在录音15明确区分一次效果与多次稳定性。你自己的记录至少应能回答:用了什么输入、改了什么、哪些地方变好、哪些问题还在。只有这样,下一次尝试才有比较依据。

十、四个练习:先检查判断,再考虑生成

练习一:这属于换人,还是结构模仿?

一条参考视频按“工作误区→现场对比→操作建议”展开。你把它换成新案例、新人物、新台词,保留这三段顺序。能否把结果叫作原视频人物一比一替换?

展开参考解释 不能。这里借鉴的是表达结构,内容与画面重新制作,属于模仿视频。原视频换人要求以原片为基础,明确保留哪些镜头、动作和其他元素。两种任务都能成立,但需要分别评价,不能因为结构接近就声称人物替换成功。

练习二:第一帧对,后半段错,先改什么?

人物拿着目标商品时正常,转身后商品形状变了。有人建议直接增强清晰度。你会怎样安排下一步?

展开参考解释 先定位转身前后发生变化的位置,对照真实商品资料和参考动作。检查侧面、遮挡后重现的状态是否缺少依据,再决定补材料、修改该段或调整动作。增强清晰度不等于修正商品形状;局部修改之后仍要看完整段是否连贯。

练习三:导演图画得漂亮,是否可以直接通过?

收纳盒导演图的人物和场景都很好看,但第二个镜头把四格变成六格,还画了一个材料没有提供的认证标志。你会如何反馈?

展开参考解释 指出第二镜头的格数与实物不符,要求按真实结构修改,并删除没有依据的认证标志。保留已经合适的人物与环境,修改后先重新审图,再考虑动态。图像的制作风格不能代替商品事实,画在图上的认证也不是认证证据。

练习四:数字人的声音很像,为什么还不能交付?

生成口播的音色接近目标人物,但规格数字读错,某句话的嘴型也不同步。你会把问题分别记录在哪一层?

展开参考解释 先核对文案中的数字是否写对;若文字正确而读错,进入声音环节;若声音正确而嘴型错位,进入人物画面与口型环节。音色相似只是一个观察项,不抵消内容或同步错误。修改后分别听、看,再合起来检查。

读完可以留下三行笔记:我想做的视频属于哪条路线;需要哪些不同用途的参考;最需要检查哪个动作或时刻。能解释这三点,再做小范围试作,通常比直接要求“做一个一样的视频”更容易知道下一步。

原课定位与本课保留的缺口

来源 位置 本课展开的内容
录音01 01:30:24—01:38:14 服装、人物、动作输入,上身与细节审查
录音02 00:16:21—00:19:44 短展示、多镜头内容与实拍分工
录音02 01:43:26—01:45:42;01:48:40—01:51:30 红薯换土豆、截图与多状态参考
录音02 02:05:00—02:08:04;02:45:31—02:52:59 对标动作匹配、跨商品改编
录音02 02:35:09—02:45:27 上身图、商品形变、复杂动作
录音09 01:43:12—01:51:35;01:53:29—01:56:40 导演图与另一种配音口型路线
录音15 00:31:20—00:40:27 明确引用、稳定性、数字人及出镜安排
录音16 00:42:35—00:47:13 多套换装失败与正反样例纠错思路
录音23 01:11:33—01:20:47 画布上传、连线、复用与比较
课堂录像 IMG_0587 约262秒 换人连线分支未继续生成的说明
课堂录像 IMG_0983 33秒画面 人物、产品、环境和镜头分区的导演图

本课没有恢复完整的深度控制教程、全部模型参数和每次生成的动态成片验收。课堂静态照片、播放示例、讲者评价与独立稳定性测试属于不同证据。上述缺口保留在知识库中,不用外部教程或合成结果冒充课堂已完成的内容。

下一主题讲文案、开头、卖点与内容结构;第四主题再讲分镜库、编辑、混剪和批量生产。本课先掌握的是:选对制作路线,让材料各有用途,并能沿着具体错误回查过程。