[发明专利]线性文化遗产知识图谱构建方法、系统、计算设备和介质

权利要求书

1.一种线性文化遗产知识图谱构建方法，其中，所述线性文化遗产包括古道以及古道相关遗迹，其特征在于，包括：

S20、获取所述线性文化遗产的原始数据，其中所述原始数据包括图像数据、语音数据和文本数据；

S22、对所述图像数据、语音数据和文本数据分别采用不同的网络模型进行实体和关系抽取；

S24、通过知识表示将得到的实体和关系进行表示，建立基于语义网的知识标识框架；

S26、基于所述知识标识框架，构建线性文化遗产可视化知识图谱展示单元，

其中，对所述图像数据进行实体和关系抽取包括：

第一卷积层将所述图像数据进行第一卷积操作，得到第一特征提取数据；

第二卷积层将所述第一特征提取数据进行第二卷积操作，得到第二特征提取数据；

最大池化层将所述第二特征提取数据进行下采样操作，得到下采样数据；

注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据；

第三卷积层将所述图谱特征数据进行第三卷积操作，得到第三特征提取数据；

第四卷积层将所述第三特征提取数据进行第四卷积操作，得到第四特征提取数据；

全连接层接收所述四特征提取数据并由第一分类器输出识别结果，

其中，所述注意力机制单元对所述下采样数据进行图谱特征挖掘，得到图谱特征数据包括：

第五卷积层，接收经过所述下采样操作的历史图像数据特征或相关遗迹图像数据特征，并输出第五特征提取数据；

第六卷积层，接收当下古道图像数据特征，并输出第六特征提取数据；

第一乘法加权单元，用于将所述第五特征提取数据乘法加权到所述第六特征提取数据，得到第一乘法加权输出数据；

第七卷积层，用于接收所述第一乘法加权输出数据，输出第七特征提取数据；

加法加权单元，用于将所述第七特征提取数据加权到来自最大池化层输出的经过下采样的当下古道图像数据特征，获取获得注意力机制作用下的输出结果，所述输出结果包括古道级别。

2.根据权利要求1所述的方法，其特征在于，对所述语音数据进行实体和关系抽取包括：

语音特征提取单元提取语音数据的语音特征向量；

语音知识提取单元根据所述特征向量，提取语音数据的实体和关系，

其中，所述语音知识提取单元根据所述特征向量，提取语音数据的实体和关系包括：

GRU神经网络接收所述特征向量，输出第一识别结果；

BiLSTM神经网络接收所述特征向量，输出第二识别结果；

深度神经网络接收所述特征向量，输出第三识别结果；

融合单元对第一至第三识别结果的优劣进行排序从而输出最优识别结果。

3.根据权利要求1所述的方法，其特征在于，对所述文本数据进行实体和关系抽取包括：

Seq2seq翻译单元将文本数据向量化，对输入文本的词语进行映射，将词语转换为相应的词向量并将向量化的词进行拼接，得到输入向量；

由循环神经网络构成的编码器将所述输入向量编码为一个定长的语义向量；

由循环神经网络构成的解码器利用所述语义向量初始化解码器，使用特定的开始符，作为第一时刻的输入，开始解码直至输出停止符。