[发明专利]基于图像与文本的图书盘点识别方法、装置、设备及系统

权利要求书

1.一种基于图像与文本的图书盘点识别方法，其特征在于：包括：

采集书架图像，并将所述书架图像切割为多个含有书脊的书脊图像，包括：利用边缘检测算法检测所述书架图像的边缘，识别所述书架图像中的直线，并根据识别出的直线将所述书架图像切割为多个含有书脊的书脊图像；

利用所述边缘检测算法检测所述书架图像的边缘，包括：采用优化卷积算子对于图像进行卷积预处理，将梯度幅值大于阈值的点标记为边缘，从而检测出书架图像的边缘；对所述书脊图像进行方向校正和清晰度校正；所述方向校正和清晰度校正包括：利用仿射函数校正所述书脊图像，使所述书脊图像上的文字显示正面清晰；对所述书脊图像进行识别，获取各所述书脊对应的关键字；

判断任一所述书脊对应的关键字与图书数据库中图书信息的相似度是否到第一相似度阈值：

若是，则完成该书脊对应的图书的盘点；

若否，则将该书脊对应的关键字和该书脊周围的至少一个所述书脊对应的关键字作为一个整体关键字，并继续判断所述整体关键字与图书数据库中图书信息的相似度是否到第二相似度阈值：

若是，则完成形成所述整体关键字的各书脊所对应的图书的盘点；

若否，则确定盘点失败；

其中，所述图书信息包括所述关键字和所述整体关键字；

判断任一所述书脊对应的关键字与图书数据库中图书信息的相似度是否到第一相似度阈值包括：将所述关键字与图书数据库中的图书信息进行文本匹配，判断所述关键字与图书库中的图书信息的文本相似度是否达到所述第一相似度阈值；

判断所述整体关键字与图书数据库中图书信息的相似度是否到第二相似度阈值包括：将所述整体关键字信息与图书数据库中的图书信息进行整体匹配，判断所述整体关键字信息与图书库中的图书信息的文本相似度是否达到所述第二相似度阈值。

2.根据权利要求1所述的基于图像与文本的图书盘点识别方法，其特征在于：利用OCR文字模型对所述书脊图像进行识别，获取各所述书脊对应的关键字。

3.一种基于图像与文本的图书盘点识别装置，其特征在于：包括：

采集处理模块，用于采集书架图像，并将所述书架图像切割为多个含有书脊的书脊图像，包括：利用边缘检测算法检测所述书架图像的边缘，识别所述书架图像中的直线，并根据识别出的直线将所述书架图像切割为多个含有书脊的书脊图像；利用所述边缘检测算法检测所述书架图像的边缘，包括：采用优化卷积算子对于图像进行卷积预处理，将梯度幅值大于阈值的点标记为边缘，从而检测出书架图像的边缘；对所述书脊图像进行方向校正和清晰度校正；所述方向校正和清晰度校正包括：利用仿射函数校正所述书脊图像，使所述书脊图像上的文字显示正面清晰；

识别模块，用于对所述书脊图像进行识别，获取各所述书脊对应的关键字；

判断匹配模块，用于判断任一所述书脊对应的关键字与图书数据库中图书信息的相似度是否到第一相似度阈值：若是，则完成该书脊对应的图书的盘点；若否，则将该书脊对应的关键字和该书脊周围的至少一个所述书脊对应的关键字作为一个整体关键字，并继续判断所述整体关键字与图书数据库中图书信息的相似度是否到第二相似度阈值：若是，则完成形成所述整体关键字的各书脊所对应的图书的盘点；若否，则确定盘点失败；其中，所述图书信息包括所述关键字和所述整体关键字；判断任一所述书脊对应的关键字与图书数据库中图书信息的相似度是否到第一相似度阈值包括：将所述关键字与图书数据库中的图书信息进行文本匹配，判断所述关键字与图书库中的图书信息的文本相似度是否达到所述第一相似度阈值；判断所述整体关键字与图书数据库中图书信息的相似度是否到第二相似度阈值包括：将所述整体关键字信息与图书数据库中的图书信息进行整体匹配，判断所述整体关键字信息与图书库中的图书信息的文本相似度是否达到所述第二相似度阈值。

4.根据权利要求3所述的基于图像与文本的图书盘点识别装置，其特征在于：所述采集处理模块还包括：

图像采集单元，用于从图像摄取设备中采集书架图像。

5.根据权利要求3所述的基于图像与文本的图书盘点识别装置，其特征在于：所述识别模块利用OCR文字模型对所述书脊图像进行识别，获取各所述书脊对应的关键字。