[发明专利]基于LSTM和手工特征实现动作分类的方法、系统

说明书

本发明公开了一种基于LSTM和手工特征实现动作分类的方法、系统。从采集的视频流中的每帧图像里检测出烧杯、玻璃棒和手；判断搅拌操作的前置条件是否满足：使用分类器判断玻璃棒是否伸入到烧杯内的液体中，通过手和玻璃棒的IOU判断手是否握住玻璃棒；如果满足手是否握住玻璃棒，则剪切出包含玻璃棒、烧杯和手三个目标的联合区域，计算玻璃棒、烧杯和手三个目标元件在剪切出的区域中的相对位置信息，作为提取出的特征；提取出的特征输入LSTM网络，输出分类结果。本发明根据检测结果使用传统逻辑手工提取特征，然后将其输入到LSTM神经网络中，遇到用传统逻辑难以判别的搅拌方式时，模型也能正确的判别打分。

技术领域

本申请涉及图像检测领域，具体而言，涉及一种基于LSTM和手工特征实现动作分类的方法。

背景技术

在K12实验中存在使用玻璃棒搅拌打分点，判别该打分点是否正确的关键依据为搅拌时玻璃棒是否伸入烧杯的液体中，以及是否以左右来回运动的方式搅拌。由于玻璃棒搅拌方式千奇百怪、搅拌时烧杯和玻璃棒倾斜角度不同、存在运动模糊的特点，采用传统的目标检测加逻辑处理的方式，容易出现正确的搅拌方式误扣分、错误的方式误给分的问题，大幅降低了该得分点的判别精度。为解决该问题，本发明采用分类器+手工提取特征+LSTM的方式来对玻璃棒是否在水中分类，并对搅拌方式进行判别。

发明内容

1、本发明的目的

本发明为了解决玻璃棒搅拌打分点是否正确的问题，而提出了一种基于LSTM和手工特征实现动作分类的方法。

2、本发明所采用的技术方案

本发明公开了一种基于LSTM和手工特征实现动作分类的方法，包括：

从采集的视频流中的每帧图像里检测出烧杯、玻璃棒和手；

判断搅拌操作的前置条件是否满足：使用分类器判断玻璃棒是否伸入到烧杯内的液体中，通过手和玻璃棒的IOU判断手是否握住玻璃棒；

如果满足手是否握住玻璃棒，则剪切出包含玻璃棒、烧杯和手三个目标的联合区域，计算玻璃棒、烧杯和手三个目标元件在剪切出的区域中的相对位置信息，作为提取出的特征；

提取出的特征输入LSTM网络，输出分类结果。

优选的，还设有两个前置条件，条件一为判断手是否握住玻璃棒，条件二为玻璃棒是否在烧杯中，提取出的特征输入LSTM网络，输出分类结果。

优选的，采用EfficientNet分类算法，分类玻璃棒是否深入烧杯液体中。

优选的，计算各元件相对于联合区域的相对位置信息和宽高信息，作为一帧图像的特征输入LSTM网络。

优选的，采取目标检测玻璃棒、烧杯和手三个目标，对手目标进行逻辑过滤，即先判断条件一，再判断条件二。

优选的，获取检测出的玻璃棒和手的框位置信息，过滤掉与玻璃棒无交集的手，计算剩下的手与玻璃棒的IOU，如果IOU满足给定的阈值，则判别手握住玻璃棒。

本发明提出了一种基于LSTM和手工特征实现动作分类的系统，包括：

采集模块，用于从采集的视频流中的每帧图像里检测出烧杯、玻璃棒和手；

前置判断模块，用于判断搅拌操作的前置条件是否满足：使用分类器判断玻璃棒是否伸入到烧杯内的液体中，通过手和玻璃棒的IOU判断手是否握住玻璃棒；

提取特征模块，用于判断如果满足手是否握住玻璃棒，则剪切出包含玻璃棒、烧杯和手三个目标的联合区域，计算玻璃棒、烧杯和手三个目标元件在剪切出的区域中的相对位置信息，作为提取出的特征；

分类模块，用于提取出的特征输入LSTM网络，输出分类结果。