[发明专利]一种基于AI的实验过程评价方法及装置

权利要求书

1.一种基于AI的实验过程评价方法，其特征在于，具体包括如下步骤：

输入预设接线图信息，获取线路接线信息以及接线完成指令；

响应于所述接线完成指令，基于所述预设接线图信息以及所述线路接线信息判定接线是否正确；

若是，则获取第一实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别；

若否，则获取错误信息，并执行所述预设接线图信息，获取线路接线信息以及接线完成指令的步骤。

2.根据权利要求1所述的方法，其特征在于，所述获取实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别的步骤包括：

利用YOLOv4算法对所述第二实验图像信息像素转换以获取第二实验图像信息；

构建VGG16模型以对所述第二实验图像信息进行面部表情识别，构建所述ResNet18模型以对所述第二实验图像信息进行行为动作识别。

3.根据权利要求2所述的方法，其特征在于，所述利用YOLOv4算法对所述第二实验图像信息像素转换以获取第二实验图像信息的步骤包括：

构建YOLOv4网络结构图，所述YOLOv4网络结构图包括主干特征提取网络、第一加强特征提取网络和第二加强特征提取网络以及预测结果；

所述主干特征提取网络包括Darknet卷积层以及残差网络结构，所述主干特征提取网络用于获取所述第一实验图像信息的有效特征层；

所述第一加强特征网络用于对获取所述第一实验图像信息的有效特征层进行池化处理，将池化处理后的所述第一实验图像信息的有效特征层进行卷积处理以获取第一实验图像信息第一残差网络的特征层；

对所述第一残差网络结构层进行上采样以获取第一实验图像信息第二残差网络的一个特征层，对所述第一实验图像信息第一残差网络特征层以及第一实验图像信息第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第一特征层，所述第二残差网络为所述残差网络结构的倒数第二层；

对所述第二残差网络结构层进行上采样以获取第一实验图像信息第三残差网络的一个特征层，并将所述第一实验图像信息第三残差网络的一个特征层与所述第一特征层进行特征融合以及卷积处理以获取第一实验图像信息第二特征层，所述第三残差网络为所述残差网络结构的倒数第三层；

对所述第三残差网络进行下采样以获取所述获取第一实验图像信息第二残差网络的一个特征层，并将所述第一实验图像信息第二特征层与所述第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第三特征层；

对所述第二残差网络结构层进行下采样以获取所述以获取第一实验图像信息第一残差网络的特征层，并将所述获取第一实验图像信息第三特征层进行特征融合以及卷积处理以获取第一实验图像信息第四特征层；

所述预测预测结果基于所述第一实验图像信息第二特征层、所述第一实验图像信息第三特征层以及所述第一实验图像信息第四特征层获取所述第二实验图像信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述预设接线图信息以及所述线路接线信息判定接线是否正确的步骤包括：

基于所述预设接线图信息获取待接导线集合、待接导线的首端以及待接导线的末端；

获取所述线路接线信息以获取线路接线的首端以及线路接线的末端，并将所述线路接线的首端以及所述线路接线的末端分别与所述待接导线的首端以及待接导线的末端比对以判定所述线路接线信息判定接线是否正确；

若是，则将待接导线从所述待接导线集合中删除，并执行所述基于所述预设接线图信息获取待接导线集合、待接导线的首端以及待接导线的末端的步骤；

若否，则提示接线错误信息。