[发明专利]化学实验操作的智能评分方法、装置及存储介质

权利要求书

1.一种化学实验操作的智能评分方法，其特征在于，包括：

获取至少一帧待检测图像，所述待检测图像用于呈现操作人员进行化学实验操作的操作信息；

根据所述至少一帧待检测图像确定所述操作信息；

判断所述操作信息是否符合预设评判集合中的至少一项，得到判断结果，所述预设评判集合用于指示多种操作类型的评判标准；

根据所述判断结果输出所述至少一帧待检测图像对应的评分结果；

所述根据所述至少一帧待检测图像确定所述操作信息，包括：

将每一帧所述待检测图像输入至预先训练好的目标检测模型中，得到每一帧所述待检测图像中的目标对象的目标框和分类结果；

将所述目标对象的目标框对应的图像块输入至预先训练好的关键点检测模型中，得到所述目标对象的轮廓信息，所述轮廓信息包括轮廓关键点；

根据所述目标对象的目标框、分类结果以及轮廓信息，确定所述操作信息。

2.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练过程包括：

建立初始目标检测模型；

获取不同操作人员进行多种化学实验操作的图像样本，以及对所述图像样本的第一标注结果，所述第一标注结果包括所述图像样本中的所述目标对象的目标框和分类结果；

通过将所述图像样本作为所述目标检测模型的输入，将所述第一标注结果作为所述目标检测模型的输出，对所述初始目标检测模型进行训练，得到所述目标检测模型。

3.根据权利要求1所述的方法，其特征在于，所述关键点检测模型的训练过程包括：

建立初始关键点检测模型；

获取不同操作人员进行多种化学实验操作的图像样本中各所述目标对象的图像块，以及对所述图像块的第二标注结果，所述第二标注结果包括各所述目标对象的轮廓关键点；

通过将所述图像块作为所述关键点检测模型的输入，将所述第二标注结果作为所述关键点检测模型的输出，对所述初始关键点检测模型进行训练，得到所述关键点检测模型。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述判断结果包括至少一种操作类型的标识以及所述至少一种操作类型的标识对应的判断结果；所述根据所述判断结果输出所述至少一帧待检测图像对应的评分结果，包括：

根据所述判断结果以及预设评分标准，输出所述至少一帧待检测图像对应的评分结果；所述预设评分标准用于指示不同操作类型的操作合格对应的得分。

5.一种化学实验操作的智能评分装置，其特征在于，包括：

获取模块，用于获取至少一帧待检测图像，所述待检测图像用于呈现操作人员进行化学实验操作的操作信息；

处理模块，用于根据所述至少一帧待检测图像确定所述操作信息；

所述处理模块，还用于判断所述操作信息是否符合预设评判集合中的至少一项，得到判断结果，所述预设评判集合用于指示多种操作类型的评判标准；

展示模块，用于根据所述判断结果输出所述至少一帧待检测图像对应的评分结果；

所述处理模块，具体用于：

将每一帧待检测图像输入至预先训练好的目标检测模型中，得到每一帧待检测图像中的目标对象的目标框和分类结果；

将所述目标对象的目标框对应的图像块输入至预先训练好的关键点检测模型，得到所述目标对象的轮廓信息，所述轮廓信息包括轮廓关键点；

根据所述目标对象的目标框、分类结果以及轮廓信息，确定所述操作信息。

6.一种化学实验操作的智能评分装置，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

显示器，所述显示器用于展示所述至少一个处理器输出的评分结果。