[发明专利]一种基于文字提取的图像匹配方法

权利要求书

1.一种基于文字提取的图像匹配方法，其特征在于，包括：

生成模板图片，作为匹配的样本图片；

得到稳定的局部区域，至少包括关键点和相关信息，包括尺度和角度信息；

完成数据加载、模型搭建、模型训练和选择、模型评价，经过算子的描述就得到局部特征不变量，即特征向量；

采用训练主题模型得到文本的主题模型向量表示，把模板文字图像提取的特征向量通过一定的方法建立索引，后面数据的查询具有层次性，优化存储的结构，便于查询；

输入待查询的文字图像的特征向量和已经建立好的模板特征索引库来得到符合相似衡量；

建立已有的标注好的数据集和无标注数据集的关系，对无标签数据进行多角度描述，增加标签多样性。

2.如权利要求1所述的一种基于文字提取的图像匹配方法，其特征在于，所述生成模板图片，作为匹配的样本图片，包括：

模板产生的图像都是灰度图像，格式采用256 级灰度的jpg 图片，添加了噪声和背景或者是对文字本身进行变换，包括伸缩，旋转，投影变化；所述模板图像和测试图像的生成采用同一个数据结构；

所述模板由 java 来实现，包含了一个主要的数据结构，即图像的信息Info；

所述Info用于描述图片的信息，其属性定义至少包含了字体，拉伸，旋转，背景，前景，前景灰度值，噪声主要信息。

3.如权利要求1所述的一种基于文字提取的图像匹配方法，其特征在于，包括：

所述得到稳定的局部区域，至少包括关键点和相关信息，包括尺度和角度信息，还包括：

通过在尺度空间找极值点来确定稳定的关键点，接着精确定位极值点的位置，然后通过去除低对比度的点和强边缘效应的点来筛选关键点，最后为关键点指定方向参数保证旋转不变，至此图像的关键点检测完毕，每个关键点有三个信息：位置、所在尺度、方向；

在描述子阶段，取以关键点为中心邻域，然后计算邻域窗口内每个点 8 个方向的梯度方向直方图，最后绘制每个梯度方向的累加值，形成128 维的向量，至此，图像的关键点就通过 SIFT 方法描述出来。

4.如权利要求1所述的一种基于文字提取的图像匹配方法，其特征在于，完成数据加载、模型搭建、模型训练和选择、模型评价，经过算子的描述就得到局部特征不变量，即特征向量，还包括：

输入己标注文本，包括文本内容和文本标签，采用训练主题模型得到文本的主题模型向量表示；

将原始数据集进行划分，分为训练集、验证集和测试集，统计训练数据集中每个标签出现的频率，并根据标签出现的频率从高到低创建标签表；

创建文档数据的单词表，将每个样本中文本和标签转换为相应的编码序列，搭建基于编码解码器与深度主题特征提取的多标签文本分类模型；

通过词向量映射矩阵得到每个单词的编码向量，利用编码器网络LSTM提取文本的向量表示，并将其拼接到主题模型向量中，再通过解码器LSTM和Attention机制获得文本的最终表示，使用Softmax函数获取每个标签的概率，通过交叉熵损失函数，构造模型损失；

用Adam优化器更新神经网络的参数，在每一轮完整训练后，对验证集进行测试，记录评价指标结果，并保存目前最优的模型参数，重复直到评价指标不再上升为止；

加载最优模型，并对测试集进行完整测试，输出模型。