[发明专利]一种基于全局工作空间的可解释情绪识别方法和系统

说明书

本发明公开了一种基于全局工作空间的可解释情绪识别方法和系统，所述方法包括：通过多个预训练模型对相应的输入数据进行分析，获得结果编码；基于最大经验风险算法，将结果编码进行竞争，获得全局工作空间的向量；基于可解释的人工智能算法，获得输入数据的后解释数据；将后解释数据输入到相应的模态模型中，获得第二结果编码；根据向量对第二结果编码进行融合，获得融合向量；将融合向量送入全连接层，经归一化后，获得情绪识别结果。基于最大经验风险算法，对预训练模型的输出进行竞争，获得全局工作空间，通过向量确定融合的机制，使情绪识别快而准确；通过可解释的人工智能算法，提高情绪识别过程的可解释性，便于使用者了解机器学习模型决策的依据。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于全局工作空间的可解释情绪识别方法和系统。

背景技术

情绪识别场景发源于实际生活需求，例如社交网络的评论蕴含的情绪、保险理赔时受访人员的情绪等。对于基本的情绪识别场景，不同模态的信息，如图片、声音、文字等数据，可以相互补充，能够帮助机器更好地理解情感。然而对于多个模态的数据进行编码后的特征融合一直是技术难点。

在传统方法中，不同的模态进行编码后而做特征融合，最后映射到情绪分类的标签。其中，特征融合经过模态融合层处理，采用对多模态编码进行加权平均的方法。特征融合前通常不具有语义信息，因此很难解释融合的效果，影响模型的准确率。机器学习的本质是学习从数据到标签的映射。当这个映射的复杂度不能被人类所“理解”，就需要借助其他方法来呈现模型的决策依据，这是可解释的人工智能的研究目标。

全局工作空间理论(Global Workspace Theory)是美国心理学家伯纳德巴尔斯提出的意识模型。它假设了人类在主动处理多模态数据的决策过程，即：①各个功能，如听觉、视觉等，在任意时刻可以无意识地进行信息加工。②被加工过的多模态信息在全局工作空间中进行竞争，实现语境的统一。这里的语境统一可以理解各个模态的决策实现了语境统一，即都在处理一个语境下的信息。例如，人类在互相讨论问题时，各个功能通过全局工作空间后都在为讨论问题服务，而对所处环境的背景噪音，由于我们的意识集中于讨论问题上，没有参与信息的加工。③被语境统一过后的信息经过广播至其他功能模块，实现决策。

2017年1月，阿西洛马会议共同达成了23条人工智能原则，包括霍金、伊隆·马斯克等在内的近四千名各界专家签署支持这些原则，因而被称为人工智能发展的“23条军规”。其中第8条提到“但凡涉及自主研制系统，都应提供一个有说服力的解释”。然而目前的多模态情绪识别系统并没有关注语境统一，因而容易产生不可解释的、不具备鲁棒性的结果。同时，由于目前的系统不关注可解释性，因此对于模型使用者而言，难以了解模型的决策依据，因此系统可信度经常受到质疑。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种基于全局工作空间的可解释情绪识别方法和系统，基于竞争的关系和可解释的特征进行融合，更准地学习或识别情绪，同时提高情绪识别过程的可解释性，让使用者了解机器学习决策的依据。

本发明公开了一种基于全局工作空间的可解释情绪识别方法，所述方法包括：通过多个预训练模型对相应的输入数据进行分析，获得结果编码；基于最大经验风险算法，将所述结果编码进行竞争，获得全局工作空间的向量；基于可解释的人工智能算法，获得所述输入数据的后解释数据；将所述后解释数据输入到相应的模态模型中，获得第二结果编码；根据所述向量对所述第二结果编码进行融合，获得融合向量；将所述融合向量送入全连接层，经归一化后，获得情绪识别结果。

优选的，所述预训练模型为以下模型的组合：图像预训练模型、语音预训练模型和语言预训练模型。

优选的，所述模态模型为以下模型的组合：图像识别模型、语音识别模型和语言识别模型。

优选的，所述模态模型参数的学习是通过情绪分类的监督信息得到。

优选的，所述最大经验风险算法表示为：