[发明专利]一种多模态情绪知识图谱的构建及展示方法

权利要求书

1.一种多模态情绪知识图谱的构建及展示方法，其特征在于：包括以下步骤：

步骤1：多模态情绪知识图谱数据资源的获取；

收集、下载情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号；

步骤2：多模态情绪知识图谱数据资源预处理；对步骤1获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求；

步骤3：多模态情绪知识图谱构建；基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱，具体方法为：

步骤3.1：文本情绪词知识图谱构建；采用图形数据库及对应的结构化查询语言编程，构建文本词情绪知识图谱；

步骤3.2：非文本模态实体的嵌入及关系构建；在文本情绪知识图谱的基础上，对情绪词实体属性表和情绪子类实体属性表通过全局唯一标识符嵌入另外两种模态情绪实体；对情绪大类实体属性表和情绪子类实体属性表分别嵌入预处理后的人脸图像数据集、动物表情数据集和社会媒体表情符号数据集中对应情感分类的全局唯一标识符，然后对情绪子类添加情感的描述信息；

步骤4：构建多模态情绪知识图谱可视化网页，实现面向用户操作的人机交互；通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上基于前端开发的脚本语言及查询语言实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果，实现知识图谱的缩放、拖拽、聚焦这些可视化效果；

步骤4.1：数据准备及处理；以文本、图像两种模态，文本、人脸表情、动物表情和社会媒体表情符号4种形式表示的知识图谱为数据源构建多模态知识图谱展示网页；多模态知识图谱展示网页通过向服务器端发出请求自动将知识图谱数据加载到页面中，然后通过前端文本标记语言和前端页面元素渲染语言编程对知识图谱的信息进行排版和渲染，从而呈现知识图谱的可视化效果；

步骤4.2：网页用户界面设计；网页用户界面包括网页的名字、图谱的控制面板和使用操作提示、图谱节点和关系的展示画布以及图谱知识的信息栏；所述图谱知识的信息栏中包括文本情绪词的属性信息和与之对应的人脸表情图像信息和社交媒体表情信息；

步骤4.3：图谱节点渲染；采用圆圈和文字两种模式对图谱节点进行渲染和表示；

步骤4.4：用户与网页展示界面交互操作功能设计；在多模态情绪知识图谱展示的基础上，设计用户操作功能，使用户通过鼠标操作，实现与网页展示界面的交互；

步骤4.5：网页部署；采用开源的网站搭建云平台，将构建的多模态情绪知识图谱网页部署在云平台上。

2.根据权利要求1所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：所述步骤1的具体方法为：

步骤1.1：文本情绪词资源获取；收集情绪词汇本体或词典；所述情绪词汇本体或词典中包括：情绪词、情绪大类、情绪强度以及情绪子类；

步骤1.2：人脸表情图像获取；一方面，收集人脸表情数据集，当已有类标签少于设定阈值时，进行手工标注；另一方面，采用半监督学习技术，基于已有的类标签和深度学习模型进行人脸表情识别，获得更多的人脸表情类标签，扩充人脸表情数据集；

步骤1.3：动物表情图像获取；通过收集和拍照方法获得动物表情图像数据，并基于文本情绪词的分类对动物表情类标签予以定义；在此基础上，还可以采用监督、半监督学习技术增加动物表情图像作为训练数据；

步骤1.4：社会媒体表情符号获取；从社会媒体开源网站下载表情符号数据及对应的类标签。