[发明专利]基于人物性格与人际关系识别的人机交互系统及工作方法

摘要

本发明属于计算机视觉领域和人机交互领域，提供了一种基于人物性格与人际关系识别的人机交互系统及工作方法，包括：检测模块：对图片或视频进行检测，得到人脸人体图像的真实区域；信息特征提取模块：提取人脸人体图像特征，分析人脸属性和人体行为；信息特征整合模块：将前一模块输出的人脸和人体信息合并，组成每个人的特征向量；性格喜好判别模块：根据输入的特征向量分析人物性格喜好；关系判别模块：判断图中或视频中人物关系；人机对话模块：根据人物性格喜好和人物关系，选择话题与用户沟通。本发明分析图中或视频中人物性格喜好和人物之间的关系，选择合适话题主动与用户沟通，让人机交互方式更加智能，更加亲切自然，更加人性化。

主权项

基于人物性格与人际关系识别的人机交互系统，其特征在于，包括：检测模块：根据用户输入的图像或视频进行人脸和人体检测，得到待测物体即人脸图像和人体图像的真实区域，并统计图像中的人数；信息特征提取模块：对检测模块得到的人脸图像和人体图像区域分别提取人脸图像特征和人体图像特征，分析人脸属性和人体行为；信息特征整合模块：将信息特征提取模块输出的每个人的人脸和人体信息合并到一起，组合成一个固定维度的特征向量；性格喜好判别模块：将信息特征整合模块整合后的每个人的特征向量输入到性格喜好分类器中，输出每个人在力量型、活泼型、和平型和完美型四种性格中的概率；关系判别模块：判断图中的人数，如果图中有两个及以上的人数，将信息特征整合模块整合后的每个人的特征向量两两配对输入到关系分类器中，判别每俩人之间的关系；人机对话模块：将通过性格喜好判别模块得到的每种性格的概率进行排序，挑选概率最大的一类性格，根据知识库中的资料，得到此种性格对应的人所具有的特质和喜好，然后根据关系判别模块输出的人物关系，选择合适的话题与用户交流沟通。