[发明专利]一种用于环境试验的旋转校正拍照方法、装置及介质

权利要求书

1.一种用于环境试验的旋转校正拍照方法，其特征在于，具体方法为：

1)开始环境试验，若干上件样品完成上件；

2)获取每个待拍摄样品的样品位置信息；

3)带摄像头的机械臂运动至预设位置以预设姿态对所有上件样品拍摄定位照片；

4)根据所述定位照片和所述待拍摄样品的所述样品位置信息，计算所述机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个所述待拍摄样品相对于机械臂末端的拍摄姿态；

5)所述机械臂根据计算得到的所述移动轨迹和所述拍摄姿态，分别对每个所述待拍摄样品完成拍摄，所述机械臂返回初始化位置；

6)判断是否有新的拍摄任务，若有则转向步骤2)。

2.如权利要求1所述的用于环境试验的旋转校正拍照方法，其特征在于，步骤2)中获取每个所述待拍摄样品的所述样品位置信息的具体方法为：

为每个所述上件样品编号，将编号信息与所述上件样品的行列数信息对应并生成检索表格；

输入或接收所述待拍摄样品的编号信息，通过所述检索表格获取每个所述待拍摄样品的所述样品位置信息。

3.如权利要求1所述的用于环境试验的旋转校正拍照方法，其特征在于，步骤3)中所述预设位置的获取方式为：

以所述机械臂底座中心为原点建立第一坐标系，获取上件样品的上件区域信息，根据所述上件区域信息生成能框住所述上件区域的最小矩形框，在所述第一坐标系中标注所述最小矩形框的第一中心坐标，根据所述机械臂上摄像头的拍摄广角计算能拍摄完整所述最小矩形框的最底高度，以所述最小矩形框的所述第一中心坐标和所述最底高度构成预设位置。

4.如权利要求3所述的用于环境试验的旋转校正拍照方法，其特征在于，步骤3)中预设姿态为：

所述预设姿态为拍摄定位照片时，拍摄边界分别与所述最小矩形框边界平行，所述机械臂需要转动的角度。

5.如权利要求3所述的用于环境试验的旋转校正拍照方法，其特征在于，步骤4)中计算机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个待拍摄样品的拍摄姿态的具体方法为：

4-1)将所述定位照片输入单阶段旋转目标检测网络S²A-Net中，预测所有上件样品的类别，并为每个上件样品生成旋转矩形框；

4-2)以所述摄像头拍摄所述定位照片时相机的位置为原点，构建第二坐标系；拍摄所述定位照片时，通过双目深度相机获取每个上件样品的深度图，计算每个旋转矩形框在第二坐标系中的第二坐标；

4-3)结合所述摄像头拍摄所述定位照片时的预设位置和第二坐标，计算每个所述旋转矩形框在第一坐标系中的第一坐标信息，以及相对于机械臂末端的姿态信息；

4-4)通过ROS话题发布所述旋转矩形框的第一坐标信息和姿态信息。

6.如权利要求5所述的用于环境试验的旋转校正拍照方法，其特征在于，步骤4-1)的具体方法为：

4-1-1)S²A-Net网络对定位照片进行卷积和池化操作，生成深度特征图；

4-1-2)将深度特征图送入特征对齐模块FAM进行特征对齐和锚点生成；

FAM首先使用锚优化网络Anchor Refinement Network微调初始锚点，然后FAM使用对齐卷积层Alignment Convolution对特征图进行旋转不变性操作；

4-1-3)FAM将对齐后的特征图送入方向检测模块ODM进行目标检测，ODM使用主动旋转滤波器ARF编码目标的方向信息，并在分类和回归操作中使用这些信息来检测图像中的工业产品；所述ARF是一种k×k×N的滤波器，在卷积过程中主动旋转N-1次，从而生成具有N个方向通道的特征图；

4-1-4)根据ODM输出的目标检测结果，在原始图像上生成所述上件样品的所述旋转矩形框。