[发明专利]用于匹配图片中实体的方法和装置

权利要求书

1.一种用于匹配图片中实体的方法，包括：

获取验证页面中的基准图片和待操作图片；

从所述基准图片中，划分各个基准实体子图；

从所述待操作图片中，检测各个待操作实体子图；

遍历每一个基准实体子图，并在访问每一个基准实体子图时，确定与当前基准实体子图匹配概率最高的待操作实体子图，并点击所确定的待操作实体子图。

2.根据权利要求1所述的方法，其中，所述从所述基准图片中，划分各个基准实体子图包括：

根据像素特征，识别所述基准图片中包括实体像素的实体区域；

切分所述实体区域中的各个实体，得到各个基准实体子图。

3.根据权利要求1所述的方法，其中，所述从所述待操作图片中，检测各个待操作实体子图包括：

采用预先训练的深度学习神经网络模型检测所述待操作图片，得到各个待操作实体子图。

4.根据权利要求3所述的方法，其中，所述预先训练的深度学习神经网络模型包括：卷积神经网络、候选区域生成网络、分类器网络和位置校正网络；以及

所述采用预先训练的深度学习神经网络模型检测所述待操作图片，得到各个待操作实体子图包括：将所述待操作图片输入卷积神经网络，生成待操作图片的特征图；将所述待操作图片的特征图输入候选区域生成网络，生成多个候选区域；将所述待操作图片的特征图和多个所述候选区域输入分类器网络，生成多个实体区域；将所述待操作图片的特征图和多个所述实体区域输入位置校正网络，生成多个实体位置；将多个所述实体位置作为待操作实体子图输出。

5.根据权利要求1所述的方法，其中，所述确定与当前基准实体子图确定的匹配概率最高的待操作实体子图包括：

采用预先训练的图像语义相似模型，确定该基准实体子图与各个待操作实体子图的匹配概率；以及

从各个待操作实体子图中确定匹配概率最高的待操作实体子图。

6.根据权利要求1所述的方法，其中，所述预先训练的图像语义相似模型包括：预训练的VGG网络、相似层网络和回归网络；

所述采用预先训练的图像语义相似模型，确定该基准实体子图与各个待操作实体子图的匹配概率包括：采用所述预训练的VGG网络，分别提取该基准实体子图的特征图和各个待操作实体子图的特征图；将该基准实体子图的特征图与各个所述待操作实体子图的特征图输入所述相似层网络，得到该基准实体子图与各个所述待操作实体子图的相似度；将所述相似度输入所述回归网络，得到该基准实体子图与各个待操作实体子图的匹配概率。

7.根据权利要求3或4任意一项所述的方法，其中，所述预先训练的深度学习神经网络模型经由以下步骤确定：

获取已标注待操作实体子图的样本；

采用所述已标注待操作实体子图的样本的训练集，训练深度学习神经网络模型初始模型，得到训练好的深度学习神经网络模型；

采用所述已标注待操作实体子图的样本的验证集，优化所述训练好的深度学习神经网络模型的模型参数，得到所述预先训练的深度学习神经网络模型。

8.根据权利要求5或6任意一项所述的方法，其中，所述预先训练的图像语义相似模型经由以下步骤确定：

获取匹配样本数据，所述匹配样本数据的每一对样本包括相匹配的已标注基准实体子图的基准图片和已标注待操作实体子图的待操作图片；

对于所述匹配样本数据的基准图片中的单个基准实体子图，调整所述匹配样本数据中与其相匹配的待操作图片中各个待操作实体子图的顺序，生成训练样本；

采用所述训练样本的训练集，训练图像语义相似模型的初始模型，得到训练好的图像语义相似模型；

采用所述训练样本的验证集，优化所述训练好的图像语义相似模型的模型参数，得到所述预先训练的图像语义相似模型。