[发明专利]医疗行为细粒度识别装置及计算机可读存储介质

说明书

本发明涉及一种医疗行为细粒度识别装置，包括摄像机、处理器和存储器及如下算法：通过摄像机采集实时发生的医疗行为视频；对视频数据预处理；获取上一时刻的卷积核的采样感受野；计算上一时刻图像与当前时刻图像的局部相干约束；计算当前时刻的感受野位移量；对每个采样点增加相应的位移量，获得变形后的卷积核；进行当前时刻的卷积运算，得到外观特征信息；计算感受野随时间的差值并提取运动特征信息；合并上述运动特征和外观特征，得到时空特征；将所述时空特征输入到三维卷积神经网络，经由全连接层得到动作分割与预测结果；对三维卷积神经网络的输出结果进行特征分割和动作分类预测。本发明可以提高系统的速度和效率及识别精度。

技术领域

本发明涉及一种医疗行为细粒度识别装置及包含用于进行所述医疗行为细粒度识别的程序的计算机可读存储介质。

背景技术

自2012年起，深度学习在短短的几年内蓬勃发展，在计算机视觉、自然语言处理、和人体行为识别等人工智能的多个子领域取得了巨大的成功。人体行为识别指计算机根据摄像机采集的图像或视频数据感知识别数据中人类所执行的行为类型，目前基于深度神经网络的人体行为识别方法主要有基于卷积神经网络的双流(Two-Stream)方法、基于三维卷积的3DCNN方法(如C3D、I3D)、基于时序模型(如RNN、LSTM)的网络方法。

现有的行为识别方法一般是通过人工观察和设计，手动设计出能够表征动作的特征算子再通过密集采样等感兴趣区域提取，最后进行行为分类与识别。在基于视频的细粒度的动作检测识别中，网络一般包含时空特征提取和长时间建模两个步骤。时空特征提取一般是通过观察几个连续的帧来建立空间和短期时间信息的模型，光流的方法通常被用于这种短期时间建模，它是将不同特征提取器中的时空信息解耦，然后通过融合模块将两种数据流结合起来。

然而，基于光流的方法通常是计算昂贵的，并可能出现由视频压缩造成的噪声问题，不足以捕捉小的运动，这对细粒度的动作识别精度影响非常大。此外，在长时间建模步骤中，通常对提取的时空特征在整个视频中的长期依赖关系进行建模，当前已有的方法关注于建立长期依赖的模型，通常依赖于现有的特征，且模型的复杂度较高，模型的参数存在一定的冗余，这使得模型的运行效率较为低下。

智慧医院的建设目标之一是利用智能化和信息化技术提升医疗服务的品质与效率，包括减少医疗行为与操作流程中人为因素所引发的医疗质量问题。这些医疗动作通常关联性较大，具有高度的类间相似性，即使是人类也很难仅从观察场景外观就区分两种不同的细粒度行为。与一般的动作检测不同的是，细粒度的行为识别需要额外的原因来解释对象如何在多个视频帧之间移动，所以细粒度的行为识别通常只能通过动作模式的细微差别来区分。

现有技术无法有效感知识别细粒度的医疗行为，因此医疗行为的合规性判断与医疗流程的智能优化缺乏行为识别方面的技术基础。

发明内容

本发明要解决的技术问题是提供一种医疗行为细粒度识别装置，旨在通过视频图像有效地感知细粒度的医疗行为，为医疗行为的合规性评估与智能化干预提供算法层的识别技术。

为解决上述技术问题的技术方案是：一种医疗行为细粒度识别装置，包括摄像机、处理器和存储器，其特征是还包括如下算法：

通过摄像机采集实时发生的医疗行为视频数据；

对视频数据预处理，选择性地抑制图像中的噪声、加强图像中的有用信息；

获取上一时刻的卷积核的采样感受野；

计算上一时刻图像与当前时刻图像的局部相干约束，并根据局部相干约束计算当前时刻的感受野位移量；

在上一时刻采样感受野的基础上对每个采样点增加相应的位移量，获得变形后的卷积核；

通过该卷积核进行当前时刻的卷积运算，得到视频中目标的外观特征信息；

计算感受野随时间的差值并提取视频中目标的运动特征信息；