[发明专利]基于多模态感知的人力资源评测系统

权利要求书

1.一种基于多模态感知的人力资源评测系统，其特征在于，该系统包括：

信息获取模块，用于获取面试者在面试过程中的音频信息和视频信息；

能力评分获取模块，用于将从所述音频信息中获取的文本信息与面试题的关键词进行匹配得到能力评分；

特征获取模块，包括视听权重图获取单元和特征序列获取单元；

所述视听权重图获取单元，用于对预设时间段内的视频信息中的面部和手部进行关键点检测得到多张热力图，对所述多张热力图叠加后进行阈值分割得到分割图；获取每张所述热力图的ROI区域图像，ROI区域包括鼻子、嘴巴和手掌；分别将每个ROI区域内的全部关键点的平均移动速度序列和通过音频信息获取的短时能量序列进行哈希编码并计算汉明距离，根据所述汉明距离对多张所述ROI区域图像的并集图分配权重得到权重图；根据所述分割图、所述权重图和像素均为1的全一图得到视听权重图，所述全一图与所述权重图的大小相等；其中所述根据所述汉明距离对多张所述ROI区域图像的并集图分配权重的步骤包括：当音频信息为噪声时，为并集图中的每个ROI区域分配的权重为0，为非ROI区域分配的权重为经验权重；当音频信息为非噪声时，为并集图中的每个ROI区域分配的权重为相应的汉明距离的倒数，为非ROI区域分配的权重为0；

所述特征序列获取单元，用于对所述文本信息进行分析，获取所述预设时间段内的特征序列，所述特征序列包括总词数量、平均说话率和平均流利度；

面试状态获取模块，用于将所述预设时间段内的关键点序列、所述音频信息的声谱图、所述视听权重图和所述特征序列输入多模态神经网络中获取所述面试者的面试状态；

能力评估模块，用于根据所述面试过程中的面试状态序列获取面试状态评分，并结合所述能力评分评估所述面试者的岗位胜任能力。

2.根据权利要求1所述的一种基于多模态感知的人力资源评测系统，其特征在于，所述多模态感知神经网络包括第一分支网络、第二分支网络、第三分支网络和分类网络；

所述第一分支网络包括时序特征提取编码器、第一全连接网络和注意力分支网络；所述注意力分支网络包括特征拟合编码器和第二全连接网络；

所述时序特征提取编码器的输入为所述关键点序列，所述第一全连接网络的输入为以所述时序特征提取编码器的输出与注意力分支网络的输出相乘后的向量；所述特征拟合编码器的输入为所述视听权重图，第二全连接网络的输入为所述特征拟合编码器的输出的注意力图；

所述第二分支网络包括特征提取编码器和第三全连接网络；所述特征提取编码器的输入为所述声谱图，所述第三全连接网络的输入为所述特征编码器的输出与所述注意力图相乘后的图像；

所述第三分支网络包括第四全连接网络，所述第四全连接网络的输入为所述特征序列；

所述分类网络包括第五全连接网络，所述第五全连接网络的输入为所述第一全连接网络的输出、所述第三全连接网络的输出和所述第四全连接网络的输出相加后的特征向量，输出为所述面试状态。

3.根据权利要求1所述的一种基于多模态感知的人力资源评测系统，其特征在于，所述能力评分获取模块包括孪生网络，所述孪生网络用于获取所述文本信息与所述关键词之间的相似度，所述相似度为所述能力评分。

4.根据权利要求1所述的一种基于多模态感知的人力资源评测系统，其特征在于，所述视听权重图获取单元包括平均移动速度序列获取子单元，所述平均移动速度序列获取子单元用于对所述多张热力图进行凸包检测得到多张ROI区域图像，并获取每个ROI区域对应的凸包集合内的全部关键点的平均移动速度序列。

5.根据权利要求1所述的一种基于多模态感知的人力资源评测系统，其特征在于，所述权重与每个ROI区域对应的汉明距离的倒数呈正相关关系。

6.根据权利要求1所述的一种基于多模态感知的人力资源评测系统，其特征在于，所述视听权重图是由所述权重图与所述全一图的像素相加后与所述分割图进行像素相乘得到的图像。