[发明专利]一种基于无监督学习的实验智能评分方法和系统

权利要求书

1.一种基于无监督学习的实验智能评分方法，适于在计算设备中执行，其特征在于，所述方法包括：

收集实验操作图片和学生在实验操作台进行实验操作的视频数据，所述实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；

对所述视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片；

基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；

将待评分图片输入所述最优目标检测模型中进行目标检测，并基于目标检测结果得到所述待评分图片的实验得分。

2.根据权利要求1所述的方法，其特征在于，所述标注数据包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对收集的实验操作图片进行筛选和处理，以便剔除异常数据、对已标注数据的实验操作图片的标签进行修正、对未标注数据的实验操作图片生成相应的标签。

4.根据权利要求3所述的方法，其特征在于，所述对收集的实验操作图片进行筛选和处理的步骤包括：

基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；

对收集的实验操作图片进行数据扩充，所述数据扩充方法包括镜像、随机裁减、翻转、色彩转换；

基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。

5.根据权利要求1所述的方法，其特征在于，所述基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型的步骤包括：

对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，所述图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理；

对所述第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；

将所述第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中所述可视化卷积神经网络为基于CAM的弱监督目标检测网络；

当所述对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。

6.根据权利要求1所述的方法，其特征在于，所述将待评分图片输入所述最优目标检测模型中进行目标检测，得到所述待评分图片的实验得分的步骤包括：

将待评分图片输入所述最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；

将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，根据对比结果得到学生实验操作得分、错误分析和正确指导。