[发明专利]多模态信息异常监控方法、装置、计算机设备及存储介质

说明书

本发明公开了一种多模态信息异常监控方法，应用于数据处理领域，用于提高异常监控准确率。本发明提供的方法包括：基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征；将录音特征和录屏特征进行多模特征融合，得到多模特征；基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值；将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于所述预设匹配值时，则确定节点信息对应的节点异常。

技术领域

本发明涉及数据处理领域，尤其涉及一种多模态信息异常监控方法、装置、计算机设备及存储介质。

背景技术

随着经济的飞速发展，保险越来越被大众重视，关于保险的销售也越来越被重视。目前，保险销售业务的过程主要由保险人员向客户进行推销。在该业务过程中，为确保消费者的利益，需要对业务引导和签订过程进行异常监控，以确保销售过程中不出现虚假宣传、片面介绍、夸大功能、混淆产品、篡改客户信息等情况，提升用户体验。

当前，主要采用双录，即录音录屏对销售人员的销售情况进行记录，再对记录情况进行大数据筛查及人工抽查来进行业务合规性的异常监控。但由于录音录屏只对业务人员当下情况进行记录，而业务误导问题在整个引导和签订过程的每个环节均可能发生，这使得当前这种双录的方式获取的信息量有限，造成信息异常监控准确率不足的问题。

因此，现有业务引导过程中存在信息异常监控准确率低的问题。

发明内容

本发明实施例提供一种多模态信息异常监控方法、装置、计算机设备及存储介质，以提高异常监控准确率。

一种多模态信息异常监控方法，包括：

基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

一种多模态信息异常监控装置，包括：

信息获取模块，用于基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

特征提取模块，用于对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

多模融合模块，用于将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

匹配值获取模块，用于基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

对比模块，用于将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多模态信息异常监控方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多模态信息异常监控方法的步骤。