[发明专利]一种用于智能售货柜训练自动标注数据集的装置

权利要求书

1.一种用于智能售货柜训练自动标注数据集的装置，其特征在于：包括壳体（1）、设在壳体（1）顶部的摄像头（5）、位于壳体（1）底部的承托装置（3）、运动机构（2）和控制模块；所述摄像头（5）和所述承托装置（3）中的一个安装在所述运动机构（2）上，另一个安装在所述壳体（1）上，所述运动机构（2）上安装有随之移动的移动台，所述控制模块包括计算机（4）和连接到所述计算机（4）的驱动控制装置，所述摄像头（5）连接到所述计算机（4），所述计算机（4）连接到所述驱动控制装置，所述驱动控制装置连接控制所述运动机构（2）；

所述用于智能售货柜训练自动标注数据集的装置采用具体的图像标注方法如下：

S1、所述计算机（4）根据标定板获得初始状态下摄像头（5）的外参数信息和承托装置（3）上放置商品或商品模型的基准点在世界坐标系下的坐标；

S2、操作人员从计算机（4）中提取采集图像信息中的第一张图片并对图片上需要识别的商品或商品模型的图像进行手动标注；

S3、所述计算机（4）内存储有所述摄像头（5）的内参数信息，结合外参数信息可以得到初始状态下像素坐标系和世界坐标系的变换关系；

S4、通过运动机构（2）运动轨迹可以得到每个运动状态下，承托装置（3）相对于摄像头（5）移动的相对位移向量和旋转矩阵；

S5、由计算机（4）储存的事先完成的商品三维尺寸建模数据结合步骤S1得到的基准点坐标得到商品在世界坐标系中建模坐标，再结合步骤S2得到的标注数据和步骤S3得到的变换关系能求得初始状态下标注数据在世界坐标系下对应的坐标；

S6、由步骤S4能得到后续每张图片对应的相对位移向量和旋转矩阵结合步骤S5得到的标注数据对应的坐标能得到假设摄像头（5）静止时，标注范围随承托装置（3）相对移动后产生的新坐标，新坐标与后续各图片对应通过步骤S3得到的变换关系能求得对应后续各个图片的标注数据，实现对后续图片的自动标注。

2.根据权利要求1所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：所述运动机构（2）包括由步进电机驱动的丝杆滑移机构，所述丝杆滑移机构包括X轴丝杆机构和Y轴丝杆机构，所述X轴丝杆机构包括安装在壳体（1）或者Y轴滑块上的X轴步进电机、连接在所述X轴步进电机输出轴的X轴丝杆和配合安装在所述X轴丝杆上的X轴滑块，所述Y轴丝杆机构包括安装在X轴滑块或者壳体（1）上的Y轴步进电机、连接在所述Y轴步进电机输出轴的Y轴丝杆和配合安装在所述Y轴丝杆上的Y轴滑块，所述移动台安装在所述Y轴滑块或者X轴滑块上，所述X轴步进电机和Y轴步进电机分别连接到所述驱动控制装置。

3.根据权利要求2所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：所述运动机构（2）包括通过转轴安装的转盘或转动支架和步进转动电机，所述移动台安装在所述转盘或转动支架上，所述转轴连接到所述步进转动电机的输出轴，所述步进转动电机安装在所述壳体（1）或所述丝杆滑移机构上并且电连接到所述驱动控制装置。

4.根据权利要求3所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：还包括作为标定板的棋盘格，所述棋盘格设在所述承托装置（3）顶部。

5.根据权利要求4所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：所述承托装置（3）具有盛放货柜中的商品或商品模型的隔间，所述隔间可拆卸安装在所述棋盘格上。

6.根据权利要求5所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：该装置采用的训练方法具体包括如下步骤；

S1、完成摄像头外参建模以及商品模型建模，商品模型至少包含商品高度；

S2、在承托装置（3）上放置货柜售卖的商品或商品模型；

S3、计算机（4）通过驱动控制装置控制运动机构（2）按事先设定的运动轨迹移动，并控制摄像头（5）在运动机构（2）到达事先设立的各设定点时自动拍照采集图像信息；

S4、操作人员根据权利要求1所述的图像标注方法对所有采集的图像进行标注；

S5、将标注后的各个图像及相对应的标注信息作为训练样本输入到目标检测网络，通过训练样本对目标检测网络进行训练。

7.根据权利要求6所述的一种用于智能售货柜训练自动标注数据集的装置，其特征在于：所述训练方法中，所述步骤S1与步骤S2之间还包括下列步骤：

S1.1、将棋盘格的数据输入计算机（4），棋盘格表面Z轴坐标设为零，拆下隔间；

S1.2、计算机（4）通过驱动控制装置控制运动机构（2）按设定的运动轨迹移动，并控制摄像头（5）在运动机构（2）到达设定点时自动拍照采集图像信息；

S1.3、提取采集到的图像信息，通过事先输入的摄像头（5）内参数信息结合棋盘格的数据通过透视投影矩阵能计算出各设定点的外参数。