[发明专利]装配拧紧过程样本采集系统、深度学习网络及监测系统

权利要求书

1.装配拧紧过程样本采集系统，其特征在于，包括视频采集装置（1）、可穿戴式肌电装置（2）、扭矩采集装置（3）以及第一计算机（4），所述视频采集装置（1）采集视频信息并发送给第一计算机（4），所述肌电装置（2）采集人体的肌电信号、惯性加速度信号和方位信号，然后发送给第一计算机（4），所述扭矩采集装置（3）将采集到的操作人员拧紧螺母时的扭矩信息发送给第一计算机（4），所述第一计算机（4）执行如下步骤：

识别视频信息中人体的骨骼节点，并计算出各个骨骼节点的坐标信息；

将骨骼节点坐标信息以及接收到的肌电信号、惯性加速度信号、方位信号、扭矩信息、视频信息均按照时间标签存储；

从视频信息中按时间标签提取图片，将所述图片、肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息作为样本数据，将所述扭矩信息作为实测值，从而得到能用于机器学习的样本库。

2.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：在样本库中创建图片信息集合和整合信息集合，将样本数据中的图片存入图片信息集合，将肌电信号、惯性加速度信号、方位信号、骨骼节点坐标信息存入整合信息集合；对图片信息集合和整合信息集合中的每一个样本数据设置扭矩标签，所述扭矩标签记载相同时间标签对应的扭矩信息。

3.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：所述肌电装置（2）包括肌电测量单元、惯性测量单元以及通信单元，所述肌电测量单元测量人体的肌电信号，所述惯性测量单元测量人体的惯性加速度信号和方位信号，所述肌电信号、惯性加速度信号和方位信号通过所述通信单元发送给第一计算机（4）。

4.根据权利要求1所述的装配拧紧过程样本采集系统，其特征在于：所述扭矩采集装置（3）包括可更换式螺栓配件（31）、扭矩传感器（32）、工作台（33）以及信号处理单元（34），所述扭矩传感器（32）固定于所述工作台（33）上，所述可更换式螺栓配件（31）安装在扭矩传感器（32）的顶部，所述信号处理单元（34）的一端与扭矩传感器（32）的输出端口连接，另一端与第一计算机（4）连接，所述扭矩传感器（32）测量拧紧可更换式螺栓配件（31）时产生的扭矩信号并以电压形式输出，所述信号处理单元（34）接收所述电压信号并将其转化为数字信号，然后传输至所述第一计算机（4）。

5.根据权利要求4所述的装配拧紧过程样本采集系统，其特征在于：所述可更换式螺栓配件（31）由连接件（311）和螺杆（312）固定连接组成，所述连接件（311）可拆卸固定在所述扭矩传感器（32）上，测量时，在螺杆（312）上旋入螺母（5），拧紧螺母（5），由扭矩传感器（32）测得扭矩信号。

6.一种深度学习网络，其特征在于：采用权利要求1至5项所述的样本采集系统获得的样本库，通过如下训练步骤进行训练：

将样本库中的部分样本数据作为训练集，将训练集中的样本数据分为多组；

所述深度学习网络包括输入层、输出层、卷积层和全连接层，首先，所述输入层接收一组整合信息集合和图像信息集合，该组整合信息集合中的样本数据进行第一卷积层的卷积运算，再通过第一全连接层展开后，得到第一一维特征值，该组图像信息集合的样本数据进行第二卷积层的卷积运算，再通过第二全连接层展开后，得到第二一维特征值，将第一一维特征值和第二一维特征值按各自的权重值进行特征融合，将融合后的特征值通过第三卷积层输出给输出层，得到深度学习网络计算的与时间标签对应的预测扭矩值，使用交叉熵损失函数计算预测扭矩值与扭矩标签的损失值，通过误差反向传播算法，将损失值传给深度学习网络进行优化，使下一组养足数据计算得到的损失值减小；重复进行上述过程，输入下一组样本数据，不断优化深度学习网络，减小损失值，使损失值减小到预设范围内，完成深度学习网络的收敛。