[发明专利]基于书脊视觉信息的图书识别方法及系统

权利要求书

1.一种基于书脊视觉信息的图书识别方法，其特征在于，包括：

步骤1、获取已标注书脊分割的图书书脊图片作为训练集，通过该训练集训练用于分割书脊的深度卷积神经网络模型，得到书脊分割模型，使用该书脊分割模型，对采集的架上书本图片做实例分割，得到多张书脊图片；

步骤2、通过为每张书脊图片标注图书类别，构建书脊分类数据集，通过该书脊分类数据集训练用于书脊分类的深度卷积神经网络模型，得到书脊特征提取模型，使用该书脊特征提取模型提取图书数据库中每一本书的书脊视觉特征，集合书脊视觉特征构建书脊视觉数据库；

步骤3、将包含多个书脊的待识别书脊图片输入至书脊分割模型进行实例分割，并将分割结果输入至该书脊特征提取模型，得到该待识别书脊图片中各书脊的视觉特征向量，将该视觉特征向量与数据库匹配以识别该待识别书脊图片中各书脊的图书类别。

2.如权利要求1所述的基于书脊视觉信息的图书识别方法，其特征在于，该步骤1包括数据集构建步骤，使用图片采集设备对架上图书进行多角度拍摄，并在拍摄结果中每个书脊区域确定四个坐标点(x_N，y_N)_i,N∈[1,4]构成一个封闭的四边形b_i将其框选，以标注书脊分割。

3.如权利要求1所述的基于书脊视觉信息的图书识别方法，其特征在于，该步骤2包括图书类别标注步骤，获得图书书脊图片中所有的书脊区域B_i，获取书脊区域B_i的最小外接矩形R_i的四个顶点(X_N，Y_N)_i,N∈[1,4]以及R_i长边的倾斜角度θ_i，将原图进行仿射变换旋转θ_i后再根据(X_N，Y_N)_i,N∈[1,4]裁切得到规整的书脊图片BE_i，人工对书脊图片BE_i标注类别标签，其中同一本书的书脊图片拥有相同的标签。

4.如权利要求1所述的基于书脊视觉信息的图书识别方法，其特征在于，该步骤2中用于书脊分类的深度卷积神经网络模型的构建方法包括：使用残差模块构建多层的深度卷积神经网络作为特征提取网络m₂，特征提取网络m₂末端添加一个使用加性角度间隔损失函数的全连接分类层classifier，得到该用于书脊分类的深度卷积神经网络模型的结构；

该步骤2包括使用该书脊分类数据集，按照分类任务的范式训练模型M₂＝m₂+classifier：输入缩放为固定大小的书脊图片，训练输出书脊图片所属标签，M₂训练完成以后将模型中特征提取网络m₂输出的特征图F_i作为书脊的视觉特征向量。

5.如权利要求4所述的基于书脊视觉信息的图书识别方法，其特征在于，该步骤3包括将该待识别书脊图片送入该书脊分割模型中处理，得到该待识别书脊图片中所有图书的书脊图片BE_i；在识别过程中，使用余弦相似度度量两个书脊视觉表征向量F_a＝[a₁,a₂,…,a₅₁₂]与F_b＝[b₁,b₂,…,b₅₁₂]之间的相似程度；书脊特征提取模型m₂计算每一个书脊图片BE_i的视觉表征F_i，将其与脊视觉数据库中的数据做最近邻搜索，得到脊视觉数据库中与目标书脊图片相似度最高的多个书脊类别id信息，其中相似度最高的类别id信息作为最终识别结果。