[发明专利]一种基于双机械臂协同的肖像轮廓智能绘制方法

说明书

本发明公开了一种基于双机械臂协同的肖像轮廓智能绘制方法，将原始RGB彩色图像输入深度学习人脸识别模型，获得五官的像素坐标信息；进行图像预处理操作，获得二值图像；通过二值图像轮廓提取，得到轮廓图像；然后将轮廓图像分为左右两部分；对左半边轮廓图像和右半边轮廓图像进行像素点排列，形成若干段不连续的轨迹段；将像素坐标转换为机械臂工具坐标系下的坐标；对轨迹段坐标增加机械臂姿态信息，形成机械臂可识别的一系列轨迹；对轨迹进行无干涉双臂绘图运动规划；通过TCP/IP协议将不干涉的轨迹传输给两只机械臂，进行双机械臂协同肖像图绘制。本发明方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

技术领域

本发明涉及一种基于双机械臂协同的肖像轮廓智能绘制方法，属于机器人绘图技术领域。

背景技术

随着科技的进步，人工智能技术得到飞速发展,在当今时代这种高新技术也用在了越来越多的场合，尤其是与机器人的结合，使得智能机器人的应用范围也非常广泛。通过机械臂进行绘画也逐渐走进大众视野。

目前机械臂绘画多数都是通过单臂进行像素点的逐行打印，其还是不能模仿人类画家一样的绘图顺序和手法进行肖像图的绘制。双臂机器人在智能绘图方面目前应用较少，通过两只机械臂的协作配合，能够表现出比单臂机器人更优雅的姿态和绘制技巧，且绘制效率高，便于在教育教学等多种场合进行展示。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于双机械臂协同的肖像轮廓智能绘制方法，该方法采用十四自由度的冗余双臂机器人进行绘制，每只手臂都是七自由度的冗余机械臂，可以很好地避开奇异点进行运动。利用深度学习人脸识别模型和图像预处理技术，获得肖像图五官的像素坐标和二值图像；采用轮廓提取技术获得轮廓图像，提出逆/顺时针搜索算法对轮廓中每一轨迹段的若干像素点进行排序；通过坐标系转换矩阵得到机械臂工具坐标系下的坐标信息，与机械臂姿态信息组合形成一系列可用于机械臂运动控制的轨迹点，通过TCP/IP协议实现上位机与机械臂之间的数据传输以实现肖像图轮廓绘制。该方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤如下：

(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；

(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；

(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x_i，y_i，z_i)，坐标系I一般为平面坐标系，默认z_i为0；

(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；

(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；

(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；

(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；