[发明专利]具有模仿学习机制的远程机械双臂系统及方法

权利要求书

1.一种具有模仿学习机制的远程机械双臂控制方法，其特征在于：机械双臂系统运行时，首先，由XBOX360感知模块采集示教者的动作信息，经过空间向量法计算得到人体的关节角度信息并且将数据滤波平滑处理；其次，将采集并经处理得到的一系列示教动作数据保存，经模仿学习阶段循环神经网络(RNN)进行训练得到模仿学习策略，并进行输出得到运动信息；然后，A地上位机和B地上位机进行远程数据通信，运动信息从A地发出，B地上位机负责接收；最后，控制器接收PC端口的运动数据，并通过I/O口输出数据进而指导DHV828数字舵机一(4)、DHV828数字舵机二(5)、DHV828数字舵机三(6)、DHV828数字舵机四(7)、DHV828数字舵机五(8)、DHV828数字舵机六(9)、DHV828数字舵机七(10)、DHV828数字舵机八(11)转动，实现机械双臂对示教动作的复现；

(1)XBOX360传感器采集捕获示教者动作信息；

当机械双臂系统启动后，示教者站于XBOX360感知模块前方，做出一系列连贯的示教动作，同时XBOX360感知模块对示教者骨骼点进行数据的实时采集；首先，XBOX360感知模块收集视野范围内的每一点，并形成一幅代表周围环境的景深图像，传感器以每秒30帧的速度生成景深图像流，实时地再现周围环境；接着，XBOX360感知模块对景深图像进行像素级评估，来辨别人体的不同部位，采用分割策略将人体从背景环境中区分出来，得到剔除追踪对象背景后的景深图像；最后，XBOX360感知模块会评估模型输出的每一个可能的像素来确定关节点，根据追踪到的20个关节点来生成一幅骨架系统图，并得到每个关节点的空间坐标信息，记P＝[p₁,p₂,...,p_i,p₂₀]，其中p_i＝(x_i,y_i,z_i)；p_i表示第i个关节点的空间坐标；x、y、z分别为空间坐标信息；

(2)A地上位机即服务器端计算关节角度及关节角度数据滤波平滑处理；

采用Processing软件环境进行上位机编程开发；将获得的骨骼点信息经过空间向量法计算，得到对应关节的关节角度数据；为了防止因为示教者示教动作的波动以及传感器数据采集过程中的误差导致关节角度计算的不准确，将各个关节角度数据经过平均递推滤波算法进行平滑处理，并根据轨迹信息和角度信息构建训练样本，为RNN的训练提供数据支持；

(3)模仿学习阶段RNN的构建、训练及输出；

在MATLAB软件环境中构建循环神经网络RNN，并使用构建的RNN对训练样本进行训练，得到模仿学习策略，而后输出的数据作为机械双臂进行动作模仿的控制角度；

(4)A地上位机即服务器端和B地上位机即客户端进行远程数据通信；

为了实现具有模仿学习机制的远程机械双臂系统，需要A地上位机和B地上位机进行远程数据通信；使用Processing中的Network库，并根据服务器端和客户端的IP地址进行配置，并通过网络传输实现服务器端和客户端之间的远程数据通信，其中服务器端负责数据的发送，客户端负责数据的接收；

(5)控制器接收B地上位机即客户端数据并控制DHV828数字舵机一(4)、DHV828数字舵机二(5)、DHV828数字舵机三(6)、DHV828数字舵机四(7)、DHV828数字舵机五(8)、DHV828数字舵机六(9)、DHV828数字舵机七(10)、DHV828数字舵机八(11)；

为了实现Arduino DUE控制器接收B地上位机即客户端数据并控制DHV828数字舵机一(4)、DHV828数字舵机二(5)、DHV828数字舵机三(6)、DHV828数字舵机四(7)、DHV828数字舵机五(8)、DHV828数字舵机六(9)、DHV828数字舵机七(10)、DHV828数字舵机八(11)，ArduinoDUE控制器需要添加通信模块Serial，以实现客户端通过PC端口将数据发送给Arduino DUE控制器，并由Arduino DUE控制器通过I/O口发出控制指令驱动DHV828数字舵机一(4)、DHV828数字舵机二(5)、DHV828数字舵机三(6)、DHV828数字舵机四(7)、DHV828数字舵机五(8)、DHV828数字舵机六(9)、DHV828数字舵机七(10)、DHV828数字舵机八(11)完成动作模仿。