[发明专利]基于智能视觉感知的医疗行为动作规范性评价方法

说明书

本发明提供一种基于智能视觉感知的医疗行为动作规范性评价方法，包括：利用13D网络提取包含待评价医疗行为的视频的双流特征向量；利用所述双流特征向量通过残差空洞因果卷积模块进行动作概率分析；利用所述动作概率分析的结果通过边界决策分析获取待选动作提名片段集ψp；对待选动作提名片段集ψp进行联合概率动作密度排序处理，得到待评价医疗行为视频中的有效动作提名片段；获取标准动作片段；利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性。本发明基于智能视觉感知的医疗行为动作规范性评价方法可以准确的判断动作规范性，在医疗领域有较好的应用前景。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于智能视觉感知的医疗行为动作规范性评价方法。

背景技术

目前，医疗行为动作规范性评价方法通常操作复杂，准确性不高，对人工的依赖较多，智能化程度低，且医疗行为动作的规范性主要是通过医疗人员的个体经验来确定，主观性较强，因此亟需提出一种操作简单、准确、高效、智能化的医疗行为动作规范性评价方法。

发明内容

(一)要解决的技术问题

鉴于上述问题，本发明的主要目的在于提供一种基于智能视觉感知的医疗行为动作规范性评价方法，以期至少部分地解决上述提及的技术问题中的至少之一。

(二)技术方案

根据本发明的一个方面，提供了一种基于智能视觉感知的医疗行为动作规范性评价方法，包括：

利用I3D网络提取包含待评价医疗行为的视频的双流特征向量；

利用所述双流特征向量通过残差空洞因果卷积模块进行动作概率分析；

利用所述动作概率分析的结果通过边界决策分析获取待选动作提名片段集ψp；

对待选动作提名片段集ψp进行联合概率动作密度排序处理，得到待评价医疗行为视频中的有效动作提名片段；

获取标准动作片段；

利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性。

进一步的，在利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性之前，还包括训练孪生神经网络；

其中，训练孪生神经网络，包括：

获取训练集数据中的有效动作提名片段；

利用所述训练集数据中的有效动作提名片段作为输入，交叉熵损失函数作为损失函数对一分类神经网络进行训练；

对训练好的所述分类神经网络进行迁移学习，得到孪生神经网络；

利用所述训练集数据中的有效动作提名片段和标准动作片段作为所述孪生神经网络的输入，对所述孪生神经网络进行训练。

进一步的，所述双流特征向量包括空间流和时间流，所述空间流是由堆叠的RGB图像为输入得到的特征向量，所述时间流是由堆叠的光流图像为输入得到的特征向量。

进一步的，利用所述双流特征向量通过残差空洞因果卷积模块进行动作概率分析，包括：将所述双流特征向量输入至堆叠的残差空洞因果卷积模块中进行时序建模，并进行动作概率分析，得到动作概率分数。

进一步的，若残差空洞因果卷积模块的顶层卷积层的感受野大小为K，则对于任一t时刻顶层神经元接收所述t时刻前面的K个时刻的输入，对所述K个时刻内的视频进行时序建模，构建短时记忆，在所述残差空洞因果卷积模块内设置Sigmoid激活函数，进行动作率分数的分析，并输出3K维的动作概率分数向量，由此得到动作概率分数，所述动作概率分数向量如下式所示：