[发明专利]多模态信息异常监控方法、装置、计算机设备及存储介质

权利要求书

1.一种多模态信息异常监控方法，其特征在于，包括：

基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

2.根据权利要求1所述的方法，其特征在于，在所述获取相同时间的节点信息、录音信息和录屏信息之前，所述方法还包括：

获取录音状态信息和录屏状态信息；

对所述录音状态信息和所述录屏状态信息进行异常识别，得到识别结果；

当所述识别结果为所述录音状态信息和所述录屏状态信息中至少存在一处异常，则对识别为存在异常的所述录音状态信息和/或所述录屏状态信息进行调整处理，并返回所述获取录音状态信息和录屏状态信息的步骤继续执行，直到所述识别结果为所述录音状态信息和所述录屏状态信息均正常，进行录屏和录音。

3.根据权利要求1所述的方法，其特征在于，在所述对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征之前，所述方法还包括：

对所述录屏信息进行人脸识别，得到至少两个人脸信息；

基于预设的角色识别方式，对每一个所述人脸信息进行角色识别，得到每一个所述人脸信息对应的角色。

4.根据权利要求1所述的方法，其特征在于，所述对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征包括：

对所述录音信息进行语音语义识别，得到语音信息和语义信息；

对所述语音信息进行声纹特征提取，得到至少两个声纹特征；

基于所述语音信息，将所述声纹特征与所述语义信息进行关联处理，确定每一个所述声纹特征对应语义信息；

将所述声纹特征和所述声纹特征对应的语义信息作为录音特征；

基于预设的特征范围，对所述录屏信息进行与所述特征范围相同的特征提取，得到所述录屏信息对应的录屏特征。

5.根据权利要求4所述的方法，其特征在于，在所述对所述语音信息进行声纹特征提取，得到至少两个声纹特征之前，所述方法还包括：

对所述语义信息进行违规词识别，得到识别结果；

若所述识别结果为所述语义信息存在违规词，则获取所述违规词对应的预警信息，并执行与所述预警信息对应的处理。

6.根据权利要求1所述的方法，其特征在于，所述基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值的步骤包括：

基于所述节点信息，获取与所述节点信息相匹配的多模态匹配树；

将所述多模特征输入所述多模态匹配树中进行主题匹配度计算，得到匹配值。

7.根据权利要求1所述的方法，其特征在于，在所述将所述匹配值与预设匹配值进行对比，得到比对结果之后，所述方法还包括：

获取所述节点信息对应的匹配值和预警信息；

基于迭代算法，对所述匹配值和所述预警信息进行迭代处理，并根据处理得到的结果更新所述信息异常监控策略。