[发明专利]一种基于多模态图像识别的中草药识别方法及装置

说明书

本发明提供的一种基于多模态图像识别的中草药识别方法及装置，通过获取待测中草药的质量和待测中草药的若干张第一图像；利用预先构建好的中草药种类识别模型对若干张第一图像进行识别，得到待测中草药的种类；利用预先构建好的中草药空间参量模型对若干张第一图像进行识别，得到待测中草药的空间参量；利用预先构建好的中草药色泽识别模型对若干张第一图像进行识别，得到待测中草药的色泽；根据待测中草药的质量、种类、空间参量和色泽，确定待测中草药的品质。本发明融合多模态图像识别技术完成对中草药种类和品质的识别，能够解决现有普通群众对中草药种类和品质无法鉴定的问题。

技术领域

本发明涉及信息识别与处理技术领域，尤其涉及一种基于多模态图像识别的中草药识别方法及装置。

背景技术

中药主要由植物药（根、茎、叶、果）、动物药（内脏、皮、骨、器官等）和矿物药组成。因植物药占中药的大多数，所以中药也称中草药。各地使用的中药已达5000种左右，把各种药材相配伍而形成的方剂，更是数不胜数。

目前，随着中草药的发展，人们开始逐渐认同中草药的效果，但由于中草药是一门高深的学科，往往失之毫厘谬以千里，加上市面上各种药材假货横行，普通人往往难以鉴别中草药种类。

另一方面，中草药品质的差别对药效的差别同样影响巨大，无论是种类还是品质的鉴别都是普通人难以进行鉴别和操作的。

发明内容

本发明提供了一种基于多模态图像识别的中草药识别方法及装置，能够解决现有普通群众对中草药种类和品质无法鉴定的问题。

第一方面，本发明实施例提供了一种基于多模态图像识别的中草药识别方法，包括：

获取待测中草药的质量和所述待测中草药的若干张第一图像，其中，所述若干张第一图像是由可旋转摄像头至少从位于所述待测中草药上方的若干个位置拍摄获得；

利用预先构建好的中草药种类识别模型对所述若干张第一图像进行识别，得到所述待测中草药的种类；

利用预先构建好的中草药空间参量模型对所述若干张第一图像进行识别，得到所述待测中草药的空间参量，其中，所述空间参量用于表征所述待测中草药的三维轮廓；

利用预先构建好的中草药色泽识别模型对所述若干张第一图像进行识别，得到所述待测中草药的色泽；

根据所述待测中草药的质量、种类、空间参量和色泽，确定所述待测中草药的品质。

优选地，所述可旋转摄像头包括第一相机和第二相机，其中，所述第一相机与所述第二相机的相机内部参数相同、光轴互相平行，所述第一相机的第一相机坐标系与所述第二相机的第二相机坐标系的X轴相互重合，所述第一相机坐标系与所述第二相机坐标系的Y轴相互平行，所述第一相机坐标系的原点和所述第二相机坐标系的原点在X轴的距离为b，所述第一相机坐标系以所述第一相机的光心为原点，以所述光轴为Z轴建立的三维直角坐标系，所述第二相机坐标系以所述第二相机的光心为原点，以所述光轴为Z轴建立的三维直角坐标系，当所述可旋转摄像头对所述待测中草药进行拍摄时，将所述第一相机和所述第二相机的光轴之间的夹角设定为 度；

所述中草药空间参量模型是通过如下方式进行构建：

获取预先设置的若干个标准中草药的第二图像，其中，每一个所述标准中草药的第二图像为若干张；

针对每一个标准中草药，均执行：

A1、确定当前标准中草药的任一空间点在该标准中草药中每一张所述第二图像的投影点坐标、在所述第一相机坐标系中的第一坐标以及在所述第二相机坐标系中的第二坐标；

A2、根据所述第一坐标和所述第二坐标的对应关系，得到用于表征所述第一坐标的第一公式，其中，所述对应关系为：