[发明专利]医疗行为细粒度识别装置及计算机可读存储介质

权利要求书

1.一种医疗行为细粒度识别装置，包括摄像机、处理器和存储器，其特征是还包括如下算法：

通过摄像机采集实时发生的医疗行为视频数据；

对视频数据预处理，选择性地抑制图像中的噪声、加强图像中的有用信息；

获取上一时刻的卷积核的采样感受野；

计算上一时刻图像与当前时刻图像的局部相干约束，并根据局部相干约束计算当前时刻的感受野位移量；

在上一时刻采样感受野的基础上对每个采样点增加相应的位移量，获得变形后的卷积核；

通过该卷积核进行当前时刻的卷积运算，得到视频中目标的外观特征信息；

计算感受野随时间的差值并提取视频中目标的运动特征信息；

合并上述运动特征和外观特征，得到时空特征；

将所述时空特征输入到三维卷积神经网络，经由全连接层得到动作分割与预测结果；

根据动作分割与预测的结果对三维卷积神经网络的输出结果进行特征分割，得到特征片段；

通过全连接层对分割得到的特征片段进行动作分类预测，得到视频中某一片段得到的细粒度动作分类结果；

所述视频数据预处理的算法包括如下步骤：

通过k近邻平均法消除图像中的随机噪声；

通过直方图均衡和对数变换的方法对视频图像进行图像增强处理；

所述得到动作分割与预测结果的算法是通过softmax的方法。

2.一种包含程序的计算机可读存储介质，其特征是所述程序包括如下算法：

通过摄像机采集实时发生的医疗行为视频数据；

对视频数据预处理，选择性地抑制图像中的噪声、加强图像中的有用信息；

获取上一时刻的卷积核的采样感受野；

计算上一时刻图像与当前时刻图像的局部相干约束，并根据局部相干约束计算当前时刻的感受野位移量；

在上一时刻采样感受野的基础上对每个采样点增加相应的位移量，获得变形后的卷积核；

通过该卷积核进行当前时刻的卷积运算，得到视频中目标的外观特征信息；

计算感受野随时间的差值并提取视频中目标的运动特征信息；

合并上述运动特征和外观特征，得到时空特征；

将所述时空特征输入到三维卷积神经网络，经由全连接层得到动作分割与预测结果；

根据动作分割与预测的结果对三维卷积神经网络的输出结果进行特征分割，得到特征片段；

通过全连接层对分割得到的特征片段进行动作分类预测，得到视频中某一片段得到的细粒度动作分类结果；

所述视频数据预处理的算法包括如下步骤：

通过k近邻平均法消除图像中的随机噪声；

通过直方图均衡和对数变换的方法对视频图像进行图像增强处理；

所述得到动作分割与预测结果的算法是通过softmax的方法。