[发明专利]一种基于神经网络的电力设备属性抽取方法

权利要求书

1.一种基于神经网络的电力设备属性抽取方法，其特征在于，包括：

获取关于电力设备的文档数据；

对所述文档数据进行预处理，得到关于电力设备的属性抽取数据集；

通过预设神经网络对所述属性抽取数据集进行属性提取，得到电力设备的属性标签；

其中，所述预设神经网络为以BLSTM-CRF模型为基础，融合残差卷积神经网络和自注意力机制。

2.根据权利要求1所述的电力设备属性抽取方法，其特征在于，所述通过预设神经网络对所述属性抽取数据集进行属性提取之前，还包括：

通过预训练语言模型bert将所述属性抽取数据集映射在向量空间中，得到词汇向量矩阵v:[v₁,v₂,…v_i]，其中，v_i是第i个字符对应的嵌入向量。

3.根据权利要求2所述的电力设备属性抽取方法，其特征在于，通过预设神经网络对所述属性抽取数据集进行属性提取，得到电力设备的属性标签，包括：

通过残差卷积神经网络对所述词汇向量矩阵v进行特征捕捉，得到语义向量矩阵c；

将所述词汇向量矩阵v与所述语义向量矩阵c进行联结，得到嵌入向量矩阵s；

通过BLSTM对所述嵌入向量矩阵s抽取上下文信息，得到输出向量；

通过自注意力机制层对所述输出向量计算隐藏层特征的依赖关系，得到词汇间的语义相似度；

通过CRF对所述词汇间的语义相似度进行优化，得到电力设备的属性标签。

4.根据权利要求3所述的电力设备属性抽取方法，其特征在于，所述残差卷积神经网络包括：卷积单元和至少一残差块，所述卷积单元包括卷积核，所述残差块包括两层卷积；

所述卷积单元的表达式为Ci＝f(w·v_i:i+h-1+b)，其中，f为ReLU激活函数，b是偏执向量，w是卷积核权重参数；

所述残差块的第一层卷积输出结果为rc1if(w₁·c_i:i+h-1+b1)，所述残差块的第二层卷积输出结果为rc2i＝f(w₂·rc1_i:i+h-1+b₂)；

其中，i与第i个字符对应。

5.根据权利要求3所述的电力设备属性抽取方法，其特征在于，所述通过自注意力机制层对所述输出向量计算隐藏层特征的依赖关系，得到词汇间的语义相似度，包括：

获取所述输出向量相应的Query矩阵、Key矩阵、Value矩阵；

通过缩放点积法计算所述Query矩阵和Key矩阵的相似度，得到权重；

通过Softmax函数对所述权重进行归一化，得到概率分布的权重；

将所述概率分布的权重和Value矩阵进行加权求和，得到权重求和。

6.根据权利要求5所述的电力设备属性抽取方法，其特征在于，所述Query矩阵、Key矩阵、Value矩阵是通过所述输出向量与相应的权重矩阵相乘得到。

7.根据权利要求5所述的电力设备属性抽取方法，其特征在于，所述权重求和的表达式为：

其中，Q为Query矩阵，K为Key矩阵，V为Value矩阵，d_k为缩放因子。

8.根据权利要求4所述的电力设备属性抽取方法，其特征在于，所述语义向量矩阵c为至少一个残差块的输出结果与所述第二层卷积输出结果的和，以避免产生梯度消失。