加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 研发一款AI手语主播有多难?
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

与央视主播朱广权在线battle的AI手语主播什么来头?

2022/02/05
340
阅读需 7 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

近日,一则段子手朱广权与“手语主播”在线pk的视频火了,刚刚上线播放量就突破百万。视频中,朱广权用超快语速的顺口溜挑战“手语主播”的“手速”,而这位手语主播也凭过硬的专业能力轻松应战。事实上,这位手语主播不是真人,而是一位虚拟数字人

这位数字人是由“百度智能云曦灵”数字人平台打造的首个AI手语主播。她形象亲切自然,专业能力出色,在刚刚开启的冰雪赛事中,百度智能云AI手语主播已经上线,为听障用户提供24小时的手语服务,让他们也能快捷地获取赛事资讯。

据统计,全球约有4.3亿人患中度及以上听力障碍,根据全国第二次残疾人抽样调查数据,中国有听障人士2780万。他们虽然听不到赛场的声音,但同样希望感受赛事的精彩。AI手语数字人无疑成为了他们观赛的重要桥梁。

百度集团副总裁吴甜表示:“百度已发布集数字人生产、内容创作、业务配置服务为一体的智能数字人平台——百度智能云曦灵,百度希望通过领先的全栈AI能力,把虚拟人的生产周期缩短到小时级别,降低生产成本,并且用AI驱动生成内容。”

研发一款AI手语主播有多难?

手语数字人的本质是在解决翻译问题。

区别于传统翻译,手语翻译的难点在于:手语并非按照语言逐字翻译,而需要根据语句整体意思进行语言精炼和语序调整,同时还需实时配合表情和唇语,帮助听障者更好的理解。这就导致AI手语数字人在信息凝练度、低时延和精细化三方面面临极其复杂的技术难题。因此,AI手语主播不仅需要具备高精度的数字人形象,还需要具备能够语音识别、手语翻译和手语表达的AI大脑。

(AI手语主播面部细节图)

从外形看,对比以往AI主播形象,百度智能云打造的AI手语主播不仅高度还原真人发肤,且在立体感、灵活度、可塑性上都有大幅提升。据悉,百度智能云建立了规模庞大的手语动作库,基于《国家通用手语词典》规范,结合动作捕捉设备和真实手语老师的双向调优,精修近1万个手语动作,保证了手语表达的动作准确性。同时首创4D扫描技术,使得AI手语主播表情自然生动,口型生成准确度高达98.5%。

而她的“AI大脑“则依托于百度智能云。通过百度自主研发的机器翻译技术,百度智能云构建出⼀套精确的手语翻译引擎,可懂度达到85%以上,媲美主流的中英、中日等方向的机器翻译结果,达到业界领先水平,结合百度自研的语音识别技术,可将冰雪赛事的文字及音视频内容,快速精准的转化为手语;同时再通过专为手语优化的自然动作引擎,完成AI手语主播的动作驱动,实时演绎为数字人的动作、表情和唇语。这保证了AI手语主播具备高可懂度的手语表达能力和精准连贯的呈现效果。

据了解,如此复杂的数字人研发工作,百度只用了不到2个月。百度方面表示,虚拟数字人要为人类提供服务、与人自然地交流,需要背后强大的知识体系和对话能力支撑。百度知识图谱积累的5500亿知识,帮助数字人拥有“自己”的经验和认识去思考。基于百度去年发布的百亿参数对话模型PLATO,虚拟人可以跟用户进行有料、有趣、有情感的交流。

百度智能云曦灵数字人平台:半小时生成2D数字人、一两周制作完成3D数字人

目前,数字人尚未实现规模化产业落地,主要原因在于数字人制作技术门槛高、周期长、成本高。打造一个高精度、高保真的非特异型虚拟人,动辄就需要百万甚至上千万的资金投入。

2021年12月,百度发布了集数字人生产、内容创作、业务配置服务为一体的智能数字人平台——“百度智能云曦灵”,基于人像驱动、智能对话、语音交互、智能推荐四大技术引擎,实现数字人的“能听、能说、能理解、可互动”。同时,百度智能云曦灵提供便捷简单的操作平台,帮助企业低成本快速定制2D卡通、真人形象及3D卡通、超写实数字人像,实现对话服务、内容创作全流程业务配置,极大降低数字人开发难度。

不久前,百度集团副总裁吴甜做客央视《对话》节目时提到,“百度希望通过领先的全栈AI能力,把虚拟人的生产周期缩短到小时级别,降低生产成本,并且用AI驱动生成内容。”

例如,只要用户在百度智能云曦灵平台上传一张照片,就能快速生成一个可被AI驱动的2D数字人像,原来生产流程需要一个星期做出来的2D数字人,现在可以缩短成半个小时。以前需要两三个月时间做出来的3D数字人,现在可以压缩到一两周,同时数字人个性化功能开发也较之前更加完善,比如通过20句话的轻量化模型训练,可生成数字人的声音,即用户说20句话即可生成属于自己音色的数字人。

目前,百度智能云曦灵已为广电、互娱、金融、政务、运营商、零售等行业提供一站式的虚拟主持人、虚拟员工、虚拟偶像、品牌代言人的创建与运营服务。已落地的案例包括:浦发银行理财专员数字人“小浦”、中国联通数字人客服“小U”、百度APP代言人“龚俊数字人”、百度集团数字人“希加加”、火星车数字人“祝融号”等。

百度AI人机交互实验室负责人李士岩表示:“我们近一两年的奋斗目标是通过百度智能云曦灵平台的开放,让每个人、每一家企业实现数字人自由。”

来源:凤凰网科技

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
CRCW08051K00FKEAC 1 Vishay Intertechnologies Fixed Resistor, Metal Glaze/thick Film, 0.125W, 1000ohm, 150V, 1% +/-Tol, 100ppm/Cel, Surface Mount, 0805, CHIP

ECAD模型

下载ECAD模型
$0.05 查看
BSS138DW-7-F 1 Diodes Incorporated Small Signal Field-Effect Transistor, 0.2A I(D), 50V, 2-Element, N-Channel, Silicon, Metal-oxide Semiconductor FET, GREEN, PLASTC PACKAGE-6

ECAD模型

下载ECAD模型
$0.48 查看
RJSAE-5381-02 1 Amphenol Communications Solutions Telecom and Datacom Connector,
$6.3 查看

相关推荐

电子产业图谱