[发明专利]结合深度卷积网络和注意力机制的地址匹配方法以及装置

权利要求书

1.一种结合深度卷积网络和注意力机制的地址匹配方法，其特征在于，包括：

输入待匹配的第一地址文本和第二地址文本；

训练地址语义提取模型；

通过所述地址语义提取模型，将所述第一地址文本逐字转化为第一文本向量，将所述第二地址文本逐字转化为第二文本向量；

训练结合注意力机制的深度卷积神经网络模型，其中，所述深度卷积神经网络模型包括输入层、卷积层、池化层和输出层；

将所述第一文本向量和所述第二文本向量输入至所述输入层，在所述输入层中引入注意力机制，获取所述第一文本向量和所述第二文本向量之间的交互关系特征矩阵，对所述第一文本向量和第一关系特征矩阵、所述第二文本向量和第二关系特征矩阵进行叠加，进入所述卷积层；

在所述卷积层中定义卷积核，对所述第一文本向量和所述第二文本向量沿文本方向进行卷积，在文本两侧分别使用0做填充处理，进入所述池化层；

在所述池化层中引入注意力机制，对卷积后的向量进行池化处理，输出第一输出向量和第二输出向量，进入所述输出层；

在所述输出层中，建立逻辑回归模型，判断所述第一输出向量和所述第二输出向量是否匹配，输出所述第一地址文本和所述第二地址文本是否匹配的结果。

2.根据权利要求1所述的地址匹配方法，其特征在于，所述训练地址语义提取模型，具体包括：

收集地址文本语料库；

利用所述地址文本语料库，对BERT预训练模型进行微调训练，得到所述地址语义提取模型。

3.根据权利要求2所述的地址匹配方法，其特征在于，所述对BERT预训练模型进行微调训练，具体为：

利用逐层解冻策略、逐层衰减学习率策略和倾斜三角学习率策略对所述BERT预训练模型进行微调训练；

其中，逐层解冻策略具体是指在微调训练过程中，首先解冻模型的最后一层，即只有最后一层的网络参数进行更新训练，其它层参数冻结不变，进行第一个训练周期；之后增加解冻下一层网络参数，此时最后一层仍然保持解冻状态，进行第二个训练周期，更新所有已解冻层的参数；以此类推直到完成指定的训练周期数、或者其他停止条件；

逐层衰减学习率策略具体是指在微调训练过程中，不同的层级应用不同的学习率，较高层采用较大的学习率，并设置学习率逐层衰减系数，自上而下逐层降低学习率；

倾斜三角学习率策略具体是指在微调训练过程中，设置初始学习率、学习率上升周期、最大学习率、学习率衰减周期和最小学习率，从而随着模型迭代次数增加，学习率在短时间内增加，然后逐渐降低。

4.根据权利要求1所述的地址匹配方法，其特征在于，所述训练结合注意力机制的深度卷积神经网络模型，具体包括：

搭建结合注意力机制的所述深度卷积神经网络模型；

构建地址匹配样本库，所述地址匹配样本库包括多个地址匹配样本，每个所述地址匹配样本包括两条地址文本和所述两条地址文本是否指向同一地点的标记；

利用所述地址匹配样本库对所述深度卷积神经网络模型进行训练。

5.根据权利要求1所述的地址匹配方法，其特征在于，所述在所述输入层中引入注意力机制，获取所述第一文本向量和所述第二文本向量之间的交互关系特征矩阵，包括：

定义输入注意力矩阵，其中，所述输入注意力矩阵用于表示所述第一地址文本中的各个文字与所述第二地址文本中的各个文字之间的相似程度；

定义权重矩阵；

根据所述输入注意力矩阵和所述权重矩阵得到所述交互关系特征矩阵。

6.根据权利要求1所述的地址匹配方法，其特征在于，所述对卷积后的向量进行池化处理，包括：

定义与所述卷积后的向量相关的池化注意力矩阵；

根据所述池化注意力矩阵得到权重特征；

根据所述权重特征对所述卷积后的向量对进行池化计算。