[发明专利]一种基于双机械臂协同的肖像轮廓智能绘制方法

权利要求书

1.一种基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，操作步骤如下：

(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；

(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；

(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x_i，y_i，z_i)，坐标系I一般为平面坐标系，默认z_i为0；

(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；

(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；

(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；

(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；

(8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；

(9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。

2.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将原始RGB彩色图像输入卷积神经网络CNN得到肖像图五官的位置信息，包括：

卷积神经网络由三个级联网络组成，用于人脸识别，可以获得五官的位置信息；

五官的位置信息用(x₁，y₁，z₁)，(x₂，y₂，z₂),，(x₃，y₃，z₃)，(x₄，y₄，z₄)，(x₅，y₅，z₅)等坐标表示，其中(x₁，y₁，z₁)表示左眼的中心坐标，(x₂，y₂，z₂)表示右眼的中心坐标，(x₃，y₃，z₃)表示鼻子的中心坐标，(x₄，y₄，z₄)表示左边嘴角的坐标，(x₅，y₅，z₅)表示右边嘴角的坐标。

3.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将所述原始RGB彩色图像经过图像预处理操作得到二值图像，包括：

图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算操作。

4.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，包括：

所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段。