[发明专利]一种面向电力市场的多模态数据融合方法、设备及介质

权利要求书

1.一种面向电力市场的多模态数据融合方法，其特征在于，包括：

构建面向电力市场的知识图谱；所述知识图谱的实体表示电力市场中的多种指标；所述知识图谱的边表示各指标之间的关系；

对所述知识图谱中的实体特征进行预处理，以将各类数据转换为统一的多维向量；

从所述知识图谱中识别出锚点实体，并对锚点实体信息进行融合处理；

将所述知识图谱转换成由融合后的锚点实体构成的锚点图。

2.根据权利要求1所述的多模态数据融合方法，其特征在于，所述构建面向电力市场的知识图谱，包括：

采集电力市场下的关键数据；所述关键数据的格式包括结构化数据、半结构化数据和非结构化数据；

从所述关键数据中抽取包括电力市场指标名称、电力市场指标关系以及电力市场指标属性的信息；

根据抽取的信息，构建面向电力市场的知识图谱。

3.根据权利要求2所述的多模态数据融合方法，其特征在于，所述对所述知识图谱中的实体特征进行预处理，包括：

采用预训练好的Faster-RCNN将图片转换为特征向量；

采用预训练好的BERT模型将文本转换为特征向量。

4.根据权利要求3所述的多模态数据融合方法，其特征在于，所述从所述知识图谱中识别出锚点实体，包括：

在已转换为特征向量的图片和问题文本中提取关键实体作为锚点实体。

5.根据权利要求4所述的多模态数据融合方法，其特征在于，所述对锚点实体信息进行融合处理，包括：

获取锚实体对应的邻居和关系的重要程度；

以所述重要程度作为权重，采用图神经网络的方式融合多阶邻居的信息，作为融合后的锚点实体。

6.根据权利要求5所述的多模态数据融合方法，其特征在于，在将所述知识图谱转换成由融合后的锚点实体构成的锚点图的同时，还包括：

当所述知识图谱中两边端点都在锚点实体上的边时，保留这条边在所述锚点图中；

当所述知识图谱中两边端点都未在锚点实体上的边时，删除这条边；

当所述知识图谱中一边端点在锚点实体上，另一边端点在非锚点实体上的边时，在所述知识图谱上寻找离该非锚点实体最近的另一锚点实体，并计算该非锚点实体与另一锚点实体之间的距离；若该距离小于设定值，则在所述锚点图中加入锚点实体到另一锚点实体的一条边；若该距离不小于设定值，则删除这条边。

7.根据权利要求6所述的多模态数据融合方法，其特征在于，在构建面向电力市场的知识图谱之后，还包括：

对所述知识图谱进行共指解析和实体消歧，以使知识融合。

8.根据权利要求7所述的多模态数据融合方法，其特征在于，在将所述知识图谱转换成由融合后的锚点实体构成的锚点图之后，还包括：

对所述锚点图中锚点实体的置信度进行量化，舍弃小于预设阈值的置信度对应的锚点实体。

9.一种面向电力市场的多模态数据融合设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至8任一项所述的多模态数据融合方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的多模态数据融合方法。