[发明专利]一种用于理化生实验智能考评的器材大小判别方法

说明书

本发明揭示了一种用于理化生实验智能考评的器材大小判别方法，包括如下步骤：将深度相机进行深度流和RGB流进行对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片；将取出图片所对应的深度信息以矩阵形式保存至txt文件中，并将取出图片按照器材大小分类作为标签；将取出的图片及对应的txt文件数据送入到分类模型中进行训练，并根据损失函数进行模型的迭代优化；将实验视频中取出的图片送入到分类模型中，模型输出待检测器材的大小结果。本发明将深度信息嵌入到图像通道中，解决了基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的问题，大大提高了实验智能赋分的准确性。

技术领域

本发明涉及领域，特别是涉及一种用于理化生实验智能考评的器材大小判别方法。

背景技术

在初高中理化生实验考试考评中，一些需要根据大小正确选用实验器材的的实验的智能考评，诸如，选择合适大小的烧杯、选择合适大小的试管，选择合适大小的铁架台铁圈等，在这些实验中，对于实验器材的正确选取往往都是重要的得分点，能否正确判断实验者所选器材是否是正确的大小，关系到能否正确的判断实验者是否得分，但由于所述大小不同的实验器材，除大小外其他特征都相同，常规的分类或目标检测算法对此难以区分。

针对实验器材中大小的检测，目前常见的方法主要有以下几种：

1、直接基于目标检测，通过检测框(矩形框)，检测出所需要判断的器材，再通过与一些和所需判断器材相对静止的器材的检测框大小做对比，如过滤实验中，选择的烧杯需要放至铁架台上，我们便可通过两个检测框的大小比值来确定所选烧杯大小是否合适，但该方法并不适用所有实验；

2、通过语义分割和深度相机(深度流和RGB流做对齐后，像素点具有了深度信息)，由此计算器材的长宽，并结合器材到相机的距离信息来判断所检测到的器材是大还是小，该方法精度相对较高且具有通用性，但是标注成本过高，且所用的分割算法也难以保证准确的分割出所述器材的轮廓，从而导致对器材长宽的误判；

3、直接通过目标检测，将大小不同的两个物体作为两个不同的标签进行检测，对于该方法，由于两个物体除大小外缺少其他不同的特征，以及卷积神经网络的局限性，会导致误检率过高，难以满足实际需求。

发明内容

本发明的目的在于，提供一种用于理化生实验智能考评的器材大小判别方法，以解决基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的问题，提高实验智能赋分的准确性。

为解决上述技术问题，本发明提供一种用于理化生实验智能考评的器材大小判别方法，包括如下步骤：

将深度相机进行深度流和RGB流对齐后，将采集的相关实验视频进行标注/推理时取出所要区别大小器材的图片；

将取出图片所对应的深度信息以矩阵形式保存至txt文件中，并将取出图片按照器材大小分类作为标签；

将取出的图片及对应的txt文件数据送入到分类模型中进行训练，并根据损失函数进行模型的迭代优化；

将实验视频中取出的图片送入到分类模型中，模型输出待检测器材的大小结果。

进一步的，所述标签按照器材大小划分为多类。

进一步的，所述分类模型训练步骤为：

将取出的图片以及对应txt文件中保存的深度信息转换为张量，并进行融合，得到一个形状为C*H*W的张量；

将上述张量通过动态权重分配模块进行动态权重分配，动态获取对应原图片张量及深度信息对应张量的权重；

动态权重分配后的张量进入到特征提取网络，并通过Softmax对图片进行分类；

采用损失函数对分类后的结果和对应标签值做损失计算，并根据损失函数进行模型的迭代优化。