[发明专利]留言信箱视频交互的方法、装置、电子设备及存储介质

权利要求书

1.一种留言信箱视频交互的方法，基于通信运营商的核心网话路控制AS和视频通话接入系统实现，实现所述方法的装置包括数字人业务平台和视频智能交互网关，

其中，所述核心网话路控制AS为用于对被叫通信行为进行信令干预及控制的应用服务单元；

所述视频通话接入系统用于中继，通过对接固网IMS多媒体接入单元mBAC接入核心网并实现视频通话SIP协商逻辑；

所述数字人业务平台所述数字人业务平台具有基于用户照片的自动生成漫画风格的数字人视频文件组的功能，以及业务逻辑签约的功能，并用于通过专属IP网络使用http接口对所述接核心网话路控制AS，以实现数字人业务所需的话路控制；

所述视频智能交互网关具有NLP模型，通过使用NLP技术分析主叫视频流中音频解析结果的中文意图，用于根据意图调起用户预生成的漫画风视频组中负责交互需要的对应视频；

所述留言信箱视频交互的方法包括如下步骤：

S1、被叫起呼通话信令到达所述核心网话路控制AS后，所述核心网话路控制AS向所述数字人业务平台查询接听配置，确认此主叫号码是否可以启用数字人接听策略；

S2、如果策略允许，所述核心网话路控制AS则会将本次呼叫转接到对应的所述视频通话接入系统进行中继；

S3、所述视频通话接入系统尝试调起视频通话，并向所述数字人业务平台请求用户照片生成的数字人留言开场白视频流；

S4、并通过所述视频智能交互网关的NLP模块识别主叫呼叫意图，调起相应的意图视频组来完成多轮交互，实时实现用户被叫状态下的话路状态控制，并将无法接通的电话转接到视频接入系统进行数字人视频通话接续交互，实现主叫的数字人视频交互留言体验；

S5、通话完成后将交互结果发送给被叫用户。

2.如权利要求1所述的方法，其中，步骤S1中，手机号码的数字人业务签约流程，由所述数字人业务平台负责将对应号码提交到核心网AS进行签约。

3.如权利要求1所述的方法，还包括步骤：

S0、数字人视频预生成流程，预生成的数字人用于步骤S3和S4步骤中所述视频通话接入系统向所述数字人业务平台请求时调起对应所需的视频，

其中，步骤S0包括如下子步骤：

S01、由用户在微信公众号上传自己包括符合半身照片审核标准的照片；

S02、业务平台视频预合成漫画风格的数字人形象视频；

S03、生成兜底视频组和多组模板视频组，视频生成的手段包括话术音频文件生成、音频唇形驱动、动作设置插入、背景插入和视频渲染；

S04、将生成的兜底视频组和多组模板视频组，同步到视频交互网关。

4.如权利要求1所述的方法，其中，步骤S4包括如下步骤：

S41、数据预处理，采用留言信箱语音留言通话历史语料数据进行训练，整个训练文本集标注系统借助了号码识别能力，通过主叫号码的号码识别结果来辅助标注文本的意图识别的分类结果；号码识别结果包括互联网用户自标记数据、查号、挂机业务系统数据记录；

S42、留言音频转文本，训练集及验证集数据原始数据以海量音频文件存于媒体服务器运营商留言信箱媒体服务器，通过ASR将留言音频转化为短文本；

S43、短文本分类标记，将得到短文本通过号码识别结果进行码号识别辅助标记；

S44、短文本分词，通过包括相关业务产品专业人员的热点词、短语的业务专家扩展词库分词；

S45、对分词库进行词向量训练，再进入分类器训练，进而识别主叫呼叫意图。