• 正文
  • 相关推荐
申请入驻 产业图谱

实测可灵4.0:让AI跳一段舞,为什么这么难?

41分钟前
59
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

“AI省掉了不少拍摄环节,却没省掉挑片、改片和一遍遍返工。 ” 作者丨李娜 编辑丨岑峰

2004年,张艺谋在《十面埋伏》里拍下了一场令人难忘的水袖击鼓舞。
章子怡饰演的舞者置身鼓阵中央,随着乐声腾跃、旋转,两条长水袖在空中翻飞,时而划出巨大的弧线,时而甩向四周的鼓面。人物的动作、绸布的轨迹和密集的鼓点配合在一起,至今仍是影片中最具辨识度的场面之一。这场表演本身就不容易复刻。舞者、水袖和鼓阵要配合得恰到好处,电影还可以借助镜头调度与剪辑,让每一下击鼓都显得干净利落。如今把这套要求浓缩进一段提示词,让AI一次生成15秒,听起来多少有点为难它。但我们还是想试试。毕竟可灵4.0这次重点升级的能力之一,就是复杂动态的生成。10月15日,可灵4.0正式上线,原生生成时长延长至30秒,并在复杂动态、参考控制和视频编辑等方面带来更新。除了这场水袖击鼓舞,我们还找来了《雨中曲》的经典独舞,让它拍摄一条普通女生逛旧街区的30秒生活短片,并试着修改已经生成的视频。这次实测,我们想看看可灵4.0能把这些要求完成到什么程度,以及实际用起来,是不是真有官方样片看上去那么轻松。

01让AI复刻水袖舞,我们改了七八轮

水袖击鼓本来就是一种难度很高的表演,到了电影里,还要兼顾人物的身法、布料运动、鼓阵的位置和摄影机的调度。对视频生成模型来说,它需要处理如何让这一连串动作在同一个场景中成立。我们原本以为,真正困难的部分会是舞者的腾空翻跃,没想到几轮生成下来,最让人头疼的竟然是如何让她正确地击中鼓面。我们先准备了人物造型和鼓阵的参考图,向可灵交代红色舞服、浅粉色长水袖,以及旋身、腾挪、跃起、甩袖击鼓等动作,希望用一次15秒的生成,还原这场舞蹈的主要特征。

从画面观感来说这一版表现尚可。红衣舞者的造型基本成立,绸布在空中也有了舒展、回旋的动态,整个场景已经能够让人联想到原片。但一到真正击鼓的环节时,舞者会直接用手去碰鼓面,水袖有时只是跟着手臂飘动,并没有承担击鼓的作用。我们随后围绕这个问题反复调整提示词,明确要求鼓必须固定,袖尾是唯一允许接触鼓面的部分。考虑到模型可能没有理解完整的动作编排,我们还将15秒拆分成起势、腾空翻跃和连续击鼓几个阶段,希望后半段能够有明显的速度和力量变化。

我们经过接近七八轮重新调整的测试还是无法全程用水袖末端击鼓的目的。有的版本里,舞者依然用手代替水袖击鼓;有的版本虽然甩起了长袖,却只是站在原地缓慢转圈,缺少预想中的腾跃和空间位移。更奇怪的是,部分画面中的鼓体会自行移动为了达到提示词中说的“击鼓”的目的。当然,这并非一次严格的专业动作指导测试。我们没有像专业的影视从业者一样绘制逐镜分镜,作为20年前的电影场景能够成功本身就和剪辑分镜特效这些不无关系。这不能说明模型没有能力完成这条视频,只是在依赖参考图与自然语言描述的创作方式下,即使反复强调同一个要求,复杂动作也未必能够稳定地朝着预期方向修正。对于那些希望用AI辅助制作影视内容的人来说,这也是值得关注的问题。

02AI跳《雨中曲》,第一版最好看

相比之下,《雨中曲》的测试让我们看到了可灵更擅长的一面。
1952年上映的《雨中曲》,留下了影史上最著名的歌舞场面之一。吉恩·凯利穿着西装、戴着礼帽,在雨夜的街道上撑伞独舞,伴随音乐旋转、踢踏,最后跳进路边的积水。人物动作、音乐节奏与摄影机的配合,让一条普通街道变成了充满趣味的表演空间。
这次我们提供了四张经典片段的参考图片,要求模型生成一段具有复古好莱坞歌舞片质感的雨中独舞,保留黑色雨伞、礼帽、路灯和潮湿的街道,同时安排转身、摆伞、踢踏和踩水等动作。
第一版的完成度就相当不错。镜头始终围绕主角展开,身后的砖墙和街道没有出现明显的场景突变,雨夜的色彩、灯光,以及浸湿后的西装质感都比较自然。爵士乐与最后的踩水动作也基本能够对上节奏,让整个片段有了一点老式歌舞电影的味道。我们尤其喜欢一个很容易被忽略的细节:人物在路灯下舞动时,身后的墙面出现了随着动作变化的投影。这让画面不只是有一个人在雨中跳舞,人物与环境之间也建立起了联系。

不过,可灵显然还没能照顾好每一个细节。男主角有一次仰头,帽子从头上掉了下来,等他再次抬起头,帽子又若无其事地出现了。最后几次踩踏积水时,水花也显得过于规整,几乎总是以同一个圆心向两边对称散开。男主角脸上的笑容同样有些完美,缺少真人在持续运动时自然发生的表情变化。画面质感一直是可灵比较受认可的优势,但随着Seedance持续迭代,漂亮的画面已经不再是哪一家的独门本领。今年7月,Seedance 2.5率先支持30秒生成,并升级多模态参考和视频编辑。不到三个月后,可灵4.0上线,更新重点同样落在30秒生成、复杂动态和参考控制上。近期一些创作者的同题测试也出现了不同评价:有人更喜欢Seedance的人物真实感,有人则更认可可灵的动作表现。两者各有所长,已经很难只凭一条漂亮样片判断高下。对于快手来说,这场竞争还有商业上的压力。今年二季度,可灵AI收入已超过8.5亿元,同比增长逾200%。它要留住的不只是尝鲜的用户,还有真正拿它制作广告、短剧等内容的付费创作者。而对这些人来说,视频生成出来,工作往往才刚刚开始。

03只想换件西装,能不能保住整条视频?

《雨中曲》生成得还不错,我们又想试试可灵4.0这次升级的视频编辑功能。假如一条视频的动作、构图和场景都已经满意,只是想换掉人物身上的衣服,能不能不必再从头抽卡?我们把此前生成的《雨中曲》作为原片,提出了一个简单的要求:将男主角的深色西装改成酒红色,保留原有款式,人物的面貌、舞蹈动作、帽子、雨伞,以及场景和声音都不要改变。
编辑后图片可灵4.0修改后的视频里和原来的视频一样,仅仅替换了原视频中的男主的衣服。值得注意的是,尽管使用的是视频编辑功能,这次修改的积分消耗与重新生成一条视频相差不大。为了增加一点参照,我们还把同一条视频交给了HeyGen Video Agent,提出完全相同的要求。
结果有点出乎意料:西装倒是变成了酒红色,男主角却已经不是原来那个人,连雨夜街景都跟着换了。我们原本想留下的那段舞蹈,也没能完整保留下来。进一步追问后,HeyGen解释说,当前使用的Video Agent工作流可以截取原片、添加文字或重新生成素材,但还无法只修改上传视频中的西装,同时保证其余画面不变。
这里需要区分两种“编辑”:剪短一个镜头、换一段素材、加上字幕,属于对视频内容的编排;给画面中正在跳舞的人换一件衣服,则需要修改原有画面,并在连续运动中保留其他细节。HeyGen Video Agent支持前一类操作,但在我们使用的这个入口里,没有完成后一个任务。我们在此前的实测中也经历了多次抽卡,这种体验放在商业制作中,就不只是个人耐心的问题。《第一财经》此前采访漫森文化时,其创始人黄浩荣透露,团队制作精品AI短剧大约需要10个人,其中约一半的人力负责抽卡。按照团队当时的数据,平均生成5次才能获得一条满意画面。AI确实降低了部分影视内容的制作成本,但制作一条视频到底花多少钱,不能只看单次生成的标价。反复生成、人工筛选,以及后续修改产生的费用,都要算进去。这次可灵成功完成了西装换色,至少保住了我们已经满意的那段表演,值得肯定。但当编辑一次的积分消耗仍与重新生成相差不大,修改成本什么时候真正降下来,恐怕也是这些视频模型接下来绕不开的一道题。

0430秒,普通女孩的生活vlog

高难度动作之外,我们还想试试可灵4.0的另一项升级:最长30秒的原生视频生成。Seedance 2.5此前也已支持这一时长。相较于可灵上一代最长15秒的生成能力,它仍然意味着创作者可以尝试在一次生成中放进更多内容。我们提出了一个普通人也可能产生的创意:让AI拍一条带有文艺气质的个人生活短片。片名叫《今天也没有什么计划》。主角是一名二十多岁的女生,戴着耳机,独自走进中国南方的一片旧街区。她沿途看看墙边的花、晒太阳的小猫,又被一位骑车经过的年轻人吸引了目光。夕阳渐渐落下,最后,她偶然走进一家旧书店,在窗边翻开一本书。我们希望它有一点旧式DV的影像质感;色彩要温暖,有真实生活留下的痕迹。人物也真实。片头还加了一点小设计,让片名这几个可爱的手写字在画面上短暂闪过,像一条自己剪辑的生活日记。

最终生成的成片,整体氛围确实不错。可灵能够理解我们想要的旧街区气质,也安排出了人物散步、街景细节和室内书店等不同镜头。相比需要完成精确接触关系的水袖舞,这类以观察日常为主的短片,显然给了模型更大的发挥空间。
但片子看下来,还是有几处让人出戏。前一个镜头里,女生刚刚回头,下一镜却突然看向另一侧,动作没能自然接上。到了书店门口,她伸手推开一扇门,旁边另一扇门竟也跟着自己打开了。书店的招牌文字没写对,街道虽然有旧楼、小店和植物,却又过于干净、规整,少了些真实街区里随处可见的行人和杂物。单看每个镜头,确实有些画面很漂亮。但串成30秒的小片子,就不只是考验模型能否生成几张好看的动态画面了。人物如何从一个镜头走进下一个镜头,人与环境发生了什么互动,这些细节都会影响整条视频看起来是否自然。

拍出一条视频,和拍出自己想要的视频

关于AI视频,过去几年我们听过太多次「人人都能成为导演」。看过各家发布的样片,这句话似乎越来越有说服力了。过去需要演员、摄影师和后期团队共同完成的画面,如今一个人对着电脑,就有机会生成出来。但实际用过之后,我们对这句话又有了一些犹豫。科幻作家特德·姜曾在《纽约客》的一篇文章中谈到,艺术创作包含大量具体的选择。当人们用一小段提示词让AI生成作品,也就把许多没有明确交代的决定交给了模型。这次测试中,我们就不止一次想把这些决定拿回来。我们想让舞者用袖尾击鼓,模型却让鼓自己移动;想拍一个女生散步时自然回头的瞬间,前后两个镜头又没有接上。可灵4.0当然有令人惊喜的地方。《雨中曲》的雨夜颇有电影味道,视频编辑也成功保留了原片中的表演。但七八轮水袖舞没能敲对鼓,以及反复生成和编辑带来的积分消耗,也让我们意识到,拥有一款生成工具,和能够随心所欲地使用它,仍然是两回事。如今可灵与Seedance都在增加参考素材、延长视频时长、强化编辑能力。对普通用户来说,这意味着有机会完成过去难以独立制作的画面;对真正要交付广告、短剧等内容的团队来说,则意味着另一道考题:能否以可以承受的时间和成本,稳定地得到想要的结果。生成视频正在变得越来越容易。但等到所有人都能拍出漂亮画面,能够少走几轮弯路、少改几次返工的工具,或许才更容易被长期留下来。

月之暗面 Kimi

Kimi K3丨Kimi K2.6
Kimi K2.7 Code

智谱 GLM

GLM 5.3 Flash
GLM5.3丨GLM 5.2

GLM 5.1 vs DeepSeek V4 Pro vs Kimi K2.6 vs Qwen 3.7 Max vs MiniMax M3

深度求索 DeepSeek

DeepSeek V4 Pro
DeepSeek Harness 插件社区DeepSeek V4 Pro & Harness

阿里 Qwen

Qwen 3.8 Max丨Qwen 3.8 FlashQwen 3.7 Max丨Qwen 3.6 Plus

字节跳动

豆包2.1 Pro
Seedance 2.5 vs 可灵 3.0
Minimax H3 vs Seedance 2.0 Fast
WorkBuddy vs 豆包工作 vs 千问办公

相关推荐

雷峰网,读懂智能&未来。