加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

2023/01/10
1872
阅读需 10 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

随着 Z 世代的到来,元宇宙概念正在应用于多个领域,虚拟主播也开始成为新的表现形式,这里面就包括了快手官方虚拟主播“关小芳”。这位 23 岁,爱好是干饭、撸铁和买买买的虚拟主播自首次亮相以来,便凭借着有趣讨喜的人设逐渐成长为快手老铁喜爱的全能主播。

12 月 25 日,快手与 NVIDIA 强势联合,邀请虚拟主播关小芳与它背后的 NVIDIA 程序员小姐姐 Alice,与广大粉丝玩黑科技过圣诞!真人与虚拟主播的完美碰撞,恰逢世界杯刚刚落下帷幕,本场直播还引入了虚拟足球赛,与在线粉丝同频互动,更有多种魔法表情的玩法挑战,只为带给粉丝最好的互动体验。

本场直播共有 382 万人次观众参与了本次直播,有效观看用户数 435.7w,实时最高在线人数 3.7w。在关小芳和 Alice 的带队下,粉丝们对于人工智能、加速计算、虚拟数字技术有了进一步的理解。

一场加时球赛,点亮 2022 年的平安夜
2022卡塔尔世界杯为人们奉上了无数精彩时刻,球迷们除了聚焦绿茵场上的角逐,也在比赛之外感受着浓厚的世界杯氛围。本次直播就新增了一场加时球赛,让球迷们过 “足” 瘾。

有机会参赛的粉丝,入场后会自动生成虚拟形象,进入到不同的阵营。比赛开始后,奔跑、跳跃的操控非常丝滑,如同身临其境!更有变大的特效效果,增加了比赛的可玩性,现场感十足。除了真实感、沉浸感以外,这个球赛最特别的是,每个参与的粉丝都会由于他们不同的活动轨迹而看到不同的场景,实现虚拟互动“千人千面”的效果。

据悉,直播中展示的小芳圣诞足球赛,是由快手推出的「快手虚拟演播助手 Kuaishou Virtual Studio(KVS)」软件来实现的。KVS 可以让传统直播间变成“元宇宙直播间”,为智能文娱、虚拟拍摄、直播电商等带来新的机遇。KVS 支持主播实时表情和动作驱动数字人,置身精美的 3D 虚拟世界场景中,还支持观众化身 Avatar 第角进一人称视入“元宇宙直播间”,实现与主播和其他用户的个性化沉浸式互动。KVS 具备优秀的易用性,可有效提升直播间人气和消费,更好传递品牌价值。
在构建高品质直播画面的过程中,往往会面临许多挑战,这些挑战在沉浸式的元宇宙足球赛中要求更高。NVIDIA 全栈式 AI 加速平台可加速和增强直播所需的视频、图形。凭借全新的 NVIDIA Ampere 架构、更完善的视频编解码器、RT Core 核心、Tensor Core 核心、统一的 CUDA 架构以及大量 SDK 和软件工具,为直播各环节提供全面支持。

在足球赛中,每一个自动走动的形象,以及参与互动用户自己的独特视角实现,都体现了云端并行渲染能力的支持。NVIDIA CloudXR 是一个在广域网下助力 XR 内容传输的云渲染解决方案,可以很好地丰富 XR 内容。通过 NVIDIA GPU 的加持,再经由网络传输,可以轻松串流到各个不同的电子设备上,包括 AR 眼镜、VR 头盔等。有了 NVIDIA CloudXR 的编解码和串流能力,精美的画质,顺畅的体验唾手可得。这种模式打破了过往统一画面的视觉体验,让观众更有参与感,能和主播更接近。在这个过程中,NVIDIA GPU 就像能量池一样,为直播间源源不断地提供储备好的算力能量。

揭秘关小芳背后的硬核科技和应用场景
在本次直播中,最引人瞩目的莫过于关小芳的小伙伴——来自 NVIDIA 的程序员小姐姐 Alice,也是关小芳背后的开发人员之一。

关小芳是快手首个基于多模样 AI 捕捉驱动能力和实时真实感渲染打造的虚拟主播。很多粉丝在体验之余,也不禁好奇:关小芳是如何实现与粉丝实时互动交流的?她背后的技术又是什么?
据 Alice 介绍,数字人的生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。数字人完成人物建模后,会做进一步的美化设计及渲染。最后让中之人穿上动捕设备,进行实时的动作表情捕捉,来驱动数字人的活动。

NVIDIA 专为 3D 协作、逼真渲染及仿真打造了 NVIDIA Omniverse 平台。借助 Omniverse Avatar Cloud Engine(ACE)引擎能力,能够加速数字人生产的每个作业环节,将数字人的创作周期大幅缩短,创建出具备 3D 光追的特性,还能够和人类实现交互,并合理理解以及表达其意图的数字人。

如下图所示,直播中展示的 NVIDIA 创始人兼首席执行官黄仁勋的数字分身“Toy Jensen”唱圣诞歌的画面,就展示了最新的语音驱动面部情绪的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face,Audio2Gesture 以及 Face vid2vid 等算法工具,虚拟数字人的语音和表情还能得到进一步的优化和升级,未来将支持关小芳与粉丝更好地互动交流。

在互动中,关小芳和 Alice 还展示了酷炫的特效、道具以及多款魔法表情,包括快手最新研发出来的 #张凤琴这局我赢定了 的新春魔法表情。在该款魔表互动中,关小芳的好朋友,同样由快手研发的虚拟歌手“神奇少女张凤琴”,与用户拍摄的虚拟形象坐在炕上打扑克唠家常,非常喜庆。配合视频默认的声音台词,用户眨眼、张嘴、抬眉毛、吐舌头等微表情和细微动作都能被精准还原,十分逗趣。

   

在技术层面,数字人特效道具的本质是一种数字资产,基于收集到的动作数据/3D 资产等,加上算法模拟和渲染,在 NVIDIA 计算加持下,实现酷炫的特效和有趣的道具使用。比如关小芳手持的道具,就是先制作这个美术资产后,确定好手部和道具的位置关系,通过按键、手势或其它触发方式呈现出来。又比如小芳使用了大哭特效,开发人员会提前收集小芳大哭的动作数据,再加上眼泪的 3D 资产,利用算法将两者融合起来,形成小芳大哭。又比如小芳非常喜欢的翅膀道具,在这里翅膀是一种 3D 资产,小芳会提前进行飞翔的动作模拟,最后用算法融合有飞翔动作的小芳和翅膀,并通过渲染,最终达到小芳飞翔的效果。

直播间特效,则分为 2D 特效和 3D 特效,是先设计好呈现效果,再进行开发的。相比道具,直播间特效会有一些交互上的考虑,比如人脸表情变化是否产生不同特效,比如特效是否随时间变化有所变化等。
比如,在本次直播中看到的圣诞树点亮、放烟花等一系列的直播间特效,是得益于 NVIDIA 的 AI 加速计算和低时延渲染加以实现。以虚拟形象和虚拟空间为载体,基于实时的数据,对虚拟物体进行实时的渲染,这种互动玩法的设计,背后都有它的触发机制,比如圣诞树点亮,就是当点赞数增加到一定程度就能触发点亮这个动作。保证了观众都能看到并且参与到这个变化的过程,感受沉浸式互动的乐趣。

强强联合 推动直播形式新元
快手作为国民短视频平台,与 NVIDIA 打造的本次圣诞专场直播,不仅异于其他直播形式,同时出现众多直播领域新技术,新玩法,其中以虚拟互动“千人千面”的技术最为突出,为粉丝们带来沉浸感十足的打卡互动体验。此次快手与 NVIDIA 的强强联合,不仅能在传统直播形式的基础上创新发展,带给粉丝们更加新颖的、互动性更强的直播内容,同时也能够激发科技产品创新能力,为未来打造更加信息化、科技化的产品打下基础,激活竞争力,诞生更有利的价值。科技源于生活,也同时服务于生活,相信在双方团队的碰撞下,快手将持续在内容理解、视频特效、数字人、直播等领域持续创新,将更多优质内容分享给广大用户。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
0002091104 1 Molex Wire Terminal, HALOGEN FREE AND ROHS COMPLIANT
暂无数据 查看
08055C105KAT2A 1 Kyocera AVX Components Capacitor, Ceramic, Chip, General Purpose, 1uF, 50V, ±10%, X7R, 0805 (2012 mm), Sn/NiBar, -55º ~ +125ºC, 7" Reel

ECAD模型

下载ECAD模型
$0.29 查看
PMR209ME6470M047R30 1 KEMET Corporation RC Network, Isolated, 47ohm, 630V, 0.47uF, Through Hole Mount, 2 Pins, RADIAL LEADED, ROHS COMPLIANT
$5.88 查看
英伟达

英伟达

为这个时代的达芬奇和爱因斯坦们提供超强计算性能。我们开创性地开发出一种超强计算形式,深受全世界对计算机有超高要求的用户的青睐,包括科学家、设计师、艺术家和游戏玩家。对于他们而言,我们的创造几乎可媲美时间机器。基于对更优质 3D 图形永无止境的需求以及当下庞大的游戏市场,NVIDIA 已在这个虚拟现实、高性能计算和人工智能的交叉口,将 GPU 发展为计算机大脑。

为这个时代的达芬奇和爱因斯坦们提供超强计算性能。我们开创性地开发出一种超强计算形式,深受全世界对计算机有超高要求的用户的青睐,包括科学家、设计师、艺术家和游戏玩家。对于他们而言,我们的创造几乎可媲美时间机器。基于对更优质 3D 图形永无止境的需求以及当下庞大的游戏市场,NVIDIA 已在这个虚拟现实、高性能计算和人工智能的交叉口,将 GPU 发展为计算机大脑。收起

查看更多

相关推荐

电子产业图谱