[发明专利]一种基于虚实结合的装配操作数据集构建系统及方法

说明书

本发明提出了一种基于虚实结合的装配操作数据集构建系统及方法，包括真实装配操作装置、虚拟装配操作装置、操作零件集，以及虚实结合装配操作数据集构建方法；所述的真实装配操作装置包括依次连接的六自由度机械臂、手柄、六维力传感器和机械手爪；所述的虚拟装配操作装置包括七自由度力反馈手控器、虚拟机械臂、虚拟六维力传感器和虚拟机械手爪；所述的虚实结合装配操作数据集构建方法包括真实操作与虚拟操作的空间位姿和操作力映射方法，以及操作位置、姿态、力和力矩数据集生成方法。本发明基于虚实结合的装配操作数据集构建系统及方法，可以为机器人模仿学习人手的精密感知、灵活决策和准确控制，快速采集高质量、大样本的学习数据集。

技术领域

本发明涉及机械学、机器人学、仪器科学、控制科学、计算机科学、传感器技术、人机交互技术、虚实结合技术等交叉领域，涉及一种基于虚实结合的装配操作数据集构建系统及方法。

背景技术

人工智能模型训练需要大量优质数据，若针对现场操作任务进行模型训练，特别是一些高危环境、失重等特殊环境下，针对危险目标、空间非合作目标等的操作任务，面临难以在真实环境中大量开展数据采集实验、难以保证操作人员安全的问题；若要搭建模拟平台获取真实数据，则会面临高额的实验成本，并且由于模拟平台一般根据不同目标任务搭建，存在非标定制的特点，兼容性差，不能重复使用。在虚拟装配场景中开展装配实验，可以大大降低危险性，极大程度地确保操作人员的人身安全；并且相比于实际场景实验，在虚拟装配场景中消耗的人力、物力更少，满足获取大量数据的训练需求，但是由于虚拟环境一般基于合理假设构建，并且可能引入额外的测量机构增加误差来源，数据采集的精度有一定限制。因此考虑采用一种虚实结合的方法进行数据采集和数据集构建。

申请号为CN201911183292.6的发明专利申请公开“一种基于虚拟场景训练的机器人模仿学习方法”中，根据具体任务设计机器人模型和虚拟交互环境，并且通过人工示教或者训练好的机器从真实环境中采集大量的状态-动作对和必要的参数，作为模仿学习的样本，构建专家数据集；根据具体任务确定状态取值空间S和动作取值空间A，根据状态取值空间S和动作取值空间A确定策略生成器网络和判别器网络的结构，最终得到由训练得到的策略生成器和判别器组成的网络模型，并进行测试。上述“一种基于虚拟场景训练的机器人模仿学习方法”虽然引入了虚拟环境，但是其目的是提供一个可视化的图形界面，帮助更快的训练模型和后期迁移，而不是用于数据集构建。

申请号为CN201910353288.3的发明专利申请公开“示教数据生成系统及示教数据生成方法”中，针对多关节机器人在垂直方向间隔分布的多个盒之间搬运玻璃基板的作业任务，提出一种示教数据生成系统和示教数据生成方法。为防止机器人与其装载的玻璃基板在盒内移动时受盒内构造物干涉增加示教复杂度，使用具备探测机构的虚拟盒，基于探测机构测定生成机器人相对于虚拟盒的基准示教数据，并基于分布在垂直方向的多个实际盒相对于虚拟盒的相对位置数据生成机器人相对于各实际盒的示教数据。上述“示教数据生成系统及示教数据生成方法”中，专家操作数据集的生成只采用了虚拟盒操作生成，没有真实操作的数据集构建过程，并且使用两部分数据生成示教数据，引入了两组仪器误差和测量误差的叠加。

本发明针对人工智能模型训练数据需求量大，装配操作存在潜在危险性且不适合大量开展等问题，提出一种基于虚实结合的装配操作手部数据集构建系统及方法，综合考虑实际装配操作和虚拟装配操作的优缺点，引入虚实结合的思想。对于获取大量装配数据，降低实验风险，拓展装配操作适用场景具有一定的帮助作用。

发明内容

本发明所要解决的技术问题在于，人工智能模型训练需要大量优质数据，若针对现场操作任务进行模型训练，特别是一些高危环境、失重等特殊环境，针对危险目标、空间非合作目标等的操作任务，则面临难以大量开展数据采集实验的问题。

本发明提出了一种基于虚实结合的装配操作数据集构建系统，包括真实装配操作装置、虚拟装配操作装置和操作零件集，所述的真实装配操作装置和虚拟装配操作装置均独立安装；所述的操作零件集由真实操作零件集和虚拟操作零件集组成；