[发明专利]电子元器件属性与类别的空间关系发现方法

权利要求书

1.电子元器件属性与类别的空间关系发现方法，其特征在于，应用于机械手，包括：

获取装配工位上电子元器件的二维图像；

针对所述二维图像，应用轻量化的高效目标检测模型中的特征提取模块，获得电子元器件的关键特征，为可观测属性；

利用目标检测模型的分类网络，根据提取的关键特征判断电子元器件的类别；

利用已构建的针对电子元器件属性信息的知识图谱，检索元器件的隐属性；

利用电子元器件的属性以及图像中的视觉信息发现与其圆周方向上临近元器件的空间关系；

利用信息缓存模块，暂存元器件的属性、隐属性以及其空间关系信息；

知识图谱将元器件的空间关系信息输出至机械手装配调度单元，机械手装配调度单元确定要抓取元器件的类别，并在知识图谱中找到适合当前装配要求的元器件，获取其位置信息；

数据转换模块接受装配调度单元的输出作为输入，把元器件在相机坐标系中的位置信息转换为机械手坐标系下的坐标。

2.根据权利要求1电子元器件属性与类别的空间关系发现方法，其特征在于，所述轻量化高效目标检测模型为EfficientNet B-0；

所述可观测属性为电子元器件的颜色、大小、形状、位置、姿态。

3.根据权利要求1所述电子元器件属性与类别的空间关系发现方法，其特征在于，所述分类网络将特征提取模块获得的目标特征进行多维空间的分类，得到图像中每个可观测目标的类别归属；

所述分类网络的类别概率获取函数为softmax；

所述分类网络采用非最大抑制算法，舍去概率值低于最大值的类别预测，将概率值最大的类别预测作为类别预测结果。

4.根据权利要求1所述的电子元器件属性与类别的空间关系发现方法，其特征在于，所述知识图谱包含了电子元器件的属性和隐属性，每个电子元器件作为一个节点，电子元器件的属性值为子节点，用节点间的边表示属性关系。

5.根据权利要求4所述的电子元器件属性与类别的空间关系发现方法，其特征在于，每当抓取一个电子元器件后，知识图谱将自动更新，自动屏蔽已被取走的电子元器件的属性信息，不再为所述机械手装配调度单元输出电子元器件的空间关系。

6.根据权利要求1所述的电子元器件属性与类别的空间关系发现方法，其特征在于，知识图谱的构建是针对当前视野范围内，所获取图像中的电子元器件，在存储单元抽取对应电子元器件的属性信息，通过融合构建出当前图像内元器件所有信息的知识图谱。

7.根据权利要求1所述的电子元器件属性与类别的空间关系发现方法，其特征在于，所述利用电子元器件的属性以及图像中的视觉信息发现与其圆周方向上临近电子元器件的空间关系具体为：以一个目标电子元器件为中心，根据所述的目标检测模型获取的电子元器件在相机坐标系的位置，存储电子元器件圆周方向上临近的各个电子元器件在空间内的相对位置关系。

8.根据权利要求1所述的电子元器件属性与类别的空间关系发现方法，其特征在于，所述信息缓存模块能够利用计算机内部的高速存取单元，实现知识图谱的实时更新。

9.根据权利要求1所述的电子元器件属性与类别的空间关系发现方法，其特征在于，所述数据转换模块将要抓取的元器件的位置信息由相机坐标系转换为机械手坐标系，并将抓取是否完成的信息通过视觉模块反馈至信息存储模块，用于更新知识图谱。