随着行业内针对智能客户服务的要求运营质量展现出爆发式提高,为了提升客户服务感知、解决“场景服务碎片化、效率低下”等问题,天津公司打造了语音认知分析系统“青鸢”,面向分析、推荐、维系、预测四大场景进行应用,致力建设“大数据+AI”协同的服务运营体系,实现AI中台驱动的客户服务精准运营。

 

团队介绍

△赵东明,项目负责人,博士,浙江大学博士后,中国移动AI中台专家/“高层次”专家/IT高级专家,天津移动AI实验室负责人,累计获得119项科技奖励及荣誉,16项发明专利,30余篇高水平论文,负责产品的语音情感、认知图谱研发、算法研究。

 

△田雷,技术负责人,北大数学系硕士,天津中心大数据架构专家,积累了大量数据仓库和大数据平台的系统架构、数据模型、需求开发的先进经验,负责产品的大数据仓库算法、大数据支撑工作。

 

△陈晨,大数据架构师,北京交通大学硕士,大数据专家,长期钻研客户需求深度挖掘,基于AI算法促进存量客户价值循环升档研究,负责产品的满意度预测机器学习算法及工程实现。

 

△石理,算法工程师,南开大学硕士,集团AI中台专家,在人工智能、计算机视觉、机器学习方面具有较丰富的研发经验,负责产品的基础平台支撑和应用拓展。

 

△孙武,数据工程师,硕士,大数据专家,负责产品交互界面的设计、开发,以及大数据+AI模型的标准、运营和优化。

 

 

 

1、项目背景

客户服务的场景化运营质量与维系、服务的措施息息相关,为了解决中国移动“运营场景碎片化、策略简单、效率低、服务方式过于被动化”的痛点,急需引入大数据、智能语音和知识图谱能力,跟踪客户语音情感变化、异动变化、满意度变化,构建智能语音认知分析系统,实现“面向场景、面向需求、面向情感”的服务运营体系。同时,中国移动积累了大量客户服务数据(10086语音、外呼语音、投诉工单、在线服务记录、服务标签),投诉数据价值挖掘的方面存在不足。通过挖掘投诉语音文件的价值,并基于识别的客户情绪、语义信息等为运营提供决策支持,可提前获知客户的潜在不满意倾向/离网倾向,可以持续提升中国移动的服务体验。

 

为了持续提升客户服务感知,天津公司人工智能实验室在集团智慧中台战略指导下,基于集团九天AI平台的算力、算法能力,打造了以精益服务、存量保拓为目标的语音情感认知分析系统“青鸾”,重点建设智能语音情感分析、文本语义挖掘、满意度预测、认知图谱推理四个方面的AI能力,典型场景定位为存量运营、满意度提升、感知监控,客户体验分析等,覆盖服务、无线、资费、家宽、存量、价值等场景,有效推动“大数据+AI”协同的服务运营体系的建设。

 

 

2、系统功能

智能语音情感认知分析系统命名为“青鸾”,是山海经中代表吉祥如意的神鸟,其意为“鸾音鹤信”,名字取自罗隐的著名唐诗“鸾音鹤信杳难回,凤驾龙车早晚来”,寓意是打造语音情感AI能力,给客户“仙境般”的服务体验。“青鸾”系统基于海量热线语音数据进行智能情感分析,输出关键标签和结构化情感分类,生成个性化语音理解分析报告,以日报月报、智能大屏、分析图表、专题报告等方式呈现给运营服务管理人员,提供语音结构化检索、情感语义理解、认知方案生成、业务运营决策辅助等能力,提供接口、租户两种赋能方式,面向分析、推荐、维系、预测四大类场景进行应用,并通过数据可视化运营分析界面方式进行展示。

 

 

“青鸾”智能语音情感认知分析系统主要有四大功能域:

智能语音情感能力分析:基于在线10086每日15万条语音数据、投诉外呼语音每日600条条等,构建多模态语音情感分类模型,提供“情感分类、情感量化、情感分析报告”能力。

 

语音转写文本挖掘分析:基于集团科大讯飞ASR的语音转写文本,打造篇章段落分析、深度语义理解、核心语义提取、自动分析报告等AI模型。

 

认知图谱满意度预测:融合资费、无线、家宽等全域服务数据,构建认知图谱引擎,以种子用户链接全量用户,精准预测用户的潜在投诉/不满意概率,对接IOP实现客群输出。

 

可视化服务运营管理:以分布图、趋势图、地图等方式进行可视化展示,体现底层AI和大数据能力,支撑运营人员快速完成查询、下载、任务执行。

 

(1)技术架构

“青鸾”系统架构自底向上为:基础数据层、数据预处理层、情感/语义理解层、能力输出层、应用层。存储层将从投诉语音及相关标签记录进行统一存储;数据预处理层对语音进行预处理,提取多模态信息特征并初步进行段落分配;情感语义理解层主要将语音进行精细化的情感及语义分析,理解用户的意图;能力输出层将情感语义能力进行统一开放,包括URL页面嵌入开放及接口开放;应用层通过对接前端业务系统,场景赋能。

 

 

(2)系统构建

“青鸾”语音情感分析系统打造了“要素-引擎-能力-场景”系统构建方式,实现了数据融通,汇聚了10086热线呼入语音、10088热线外呼语音、大数据标签库、经分资料库、评测数据、历史工单数据等,对接集团统一AI平台的讯飞ASR进行语音转写,打造语音情感、文本挖掘系列AI能力,实现了“要素-引擎-能力-场景”的系统构建新方式。

 

 

(3)主体流程

“青鸾”语音情感分析系统主体流程:数据处理、篇章段落分析、特征提取及对齐、情感及语义理解、结果输出五大步骤。首先获取用户语音文件及相应会话记录,对语音进行转文字处理,然后将文本按照篇章段落进行语义划分,提取子段落的音频及文本特征,实现情感及语义的深度理解,最终生成分析报告、维系策略,辅助客服服务和存量运营。语音识别利用集团ASR能力,语音情感建模基于集团九天AI平台能力,数据来源于梧桐大数据+省公司系统。

 

 

3、应用场景实例

(1)面向热线语音的情感分析和情感修补

针对10086热线呼入、10088呼出及网络投诉处理外呼的语音,“青鸾”基于独创的多模态信息处理技术实现语音情感分类及情感强度量化,以实时和离线两种模式对外开放能力,实时接口对外提供“情感分类、情感量化”服务,离线接口提供“情感分析报告”能力。省公司、分公司、网格的服务运营人员,通过用户的情绪波动,分析服务质量,主动进行客户情感修补和存量维系,并适时地进行热点业务推荐。

 

 

(2)深度理解语音场景,提供情感分析报告

“青鸾”通过对语音的深度理解分析,实现对语音的结构化梳理,对整篇热线语音细分为若干语义段落:用户提出问题、客服给出解答、沟通交流、最终反馈等,生成详细的情感曲线、情绪强度及语义要素的分析报告,支持对语音进行在线播放,辅助客服人员进行运营决策。

 

 

(3)构建客户服务认知视图,深挖不满原因

“青鸾”融合用户、产品、行为、语音、投诉等全域客服数据,形成客户服务认知图谱体系,基于热线语音蕴含的新对服务过程进行认知推理。认知图谱以“客户本体-关系-属性实体”方式构建,链接全量用户,精准感知每名客户的诉求,基于现有投诉/不满意客户的属性智能推理其他用户的潜在投诉/不满意概率。

 

 

(4)智能识别特殊事件,构建客户感知体系

“青鸾”为省公司服务运营人员提供热线服务数据中发现特殊事件的能力,以针对热点、突发、异动事件进行发现、筛选、分析、监控。针对多模态数据(语音情感、语音转文本、投诉文本)进行综合根因分析,情感+语义实现服事件主题的自动监控。通过热线数据的深入挖掘,以及对客户进行情感、语义、服务质量等层面的感知识别,构建客户真实感知体系,帮助服务满意度提升。

 

 

(5)打造满意度预测功能,解决服务难点

“青鸾”接入B域的全量大数据标签数据,省公司客响中心提供的家宽用户感知探测数据,以及省公司无线中心提供的无线网络异常感知数据,具备BOM三域融通的数据基础,基于认知图谱技术,打造了全场景、多功能域的满意度预测体系。根据用户资费、家宽、集客等资费使用情况,以种子用户推理全量用户的业务满意度情况,预估全量非沉默用户对业务、服务、资费的满意度。系统以可视化方式输出,并给出具体的不满意原因,帮助分公司、网格的服务运营人员针对性做好用户服务和精准营销。

 

 

4、重点AI能力

(1)多模态语音情感分类能力

针对10086呼入(日均15万条)、10088外呼(日均2000条)及转写的文本,将声音特征和文本特征进行综合分析,通过监督模型的标注数据训练,实现情感的分类预测。模型架构考虑尽可能地纳入更多特征,并使用attention网络进行特征对齐,最终多模态情感分类的负面情绪(厌恶、生气、愤怒)精度达81%,业界领先。

 

 

(2)语音对话文本分析能力

针对10086语音转写的非结构化文本进行语义解析,提取重点句、核心词、情感,智能生成长文本摘要,并将整体沟通过程划分为多个段落,每个段落生成精细化标签,减轻运营人员听取录音的压力,提升运营效率。模型对坐席和用户的沟通文本进行分析,输出重点句、关键词、摘要、篇章段落等分析结果,人工校验的准确率为80%。

 

 

(3)认知图谱语义推理能力

以“场景-原因概念-基本概念-原子”架构实现知识图谱架构升级,面向离网预警、满意度预测、指标分析等场景提供可理解、可解释的运营策略。认知图谱包含面向用户问题的现象层(现象标签),面向运营场景的原因概念层(概念标签),基本概念层(特性),原子层(原子标签),运营策略库。纳入全量大数据标签、家宽感知标签,形成百亿级推荐链路的认知大脑,实现一套系统支撑存量、服务、运营全场景,面向权益、换机、升档、在网等提供AI核心计算引擎,提升推荐成功率,增强推荐理由的可读性,整体推进准确率达90%。

 

 

5、应用和推广

“青鸾”系统于2021年1月20日正式上线,已实现面向天津公司900万用户的语音情感监测评估,纳入每日15万条10086热线语音、每日1.1万条10088外呼语音,以及累计10.9万条家宽投诉外呼语音,实现全量语音数据的服务感知闭环管理,及时发现潜在不满情况,给予情感修补和维系。

 

基于认知图谱技术,每月输出90万资费潜在不满意客户群,自2020年11月以来累计输出307万。基于客响中心日同步的全量130万用户家宽感知特征数据,每日输出9.1万家宽潜在不满意客户群及原因分布。基于无线中心潜在网络不满意用户,对5.2万无线不满意客户进行原因挖掘并可视化展示。每日可挖掘到服务异常事件120余次,每日识别的语音负面情感用户达1.6万户。

 

 

“青鸾”系统已在天津客服领域推广试用,已实现入驻集团九天AI平台的“AI超市”,以能力和应用案例两种方式对外赋能,支持一点支撑全网,同批次共上架7项AI能力和3项AI案例,已和江西公司达成智能语音系统研发合作意向,共同进行10088外呼语音质检、10088外呼营销质量评测等场景的推广。

 

“青鸾”为天津公司首创的基于智能语音技术的智慧服务解决方案,以AI实验室研发能力为基础,与浙江大学、河北工业大学等知名高校实现产学研合作。牵头总部的《中国移动全网知识图谱试点工作》,和江苏、浙江一起负责知识图谱规划,项目的认知图谱等方案纳入集团统一规划。“青鸾”项目输出3项国家发明专利,2篇国家级期刊论文,完成1项集团公司省级自立研发计划并结题。