[发明专利]基于智能视觉感知的医疗行为动作规范性评价方法

权利要求书

1.基于智能视觉感知的医疗行为动作规范性评价方法，其特征在于，包括：

利用I3D网络提取包含待评价医疗行为的视频的双流特征向量；

利用所述双流特征向量通过残差空洞因果卷积模块进行动作概率分析；

利用所述动作概率分析的结果通过边界决策分析获取待选动作提名片段集ψp；

对待选动作提名片段集ψp进行联合概率动作密度排序处理，得到待评价医疗行为视频中的有效动作提名片段；

获取标准动作片段；

利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性；

其中，利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性包括：

将所述有效动作提名片段和所述标准动作片段输入到所述孪生神经网络中，并通过双流特征提取网络分别提取所述有效动作提名片段和所述标准动作片段的特征；

通过多个全连接层分别将所述有效动作提名片段的特征和所述标准动作片段的特征进行编码，得到所述有效动作提名片段的特征向量和所述标准动作片段的特征向量；

计算所述有效动作提名片段的特征和所述标准动作片段的特征的距离，得到特征向量间的欧式距离；

根据预设的阈值，利用所述孪生网络的对比损失函数对所述特征向量间的欧式距离进行调整和判断，得到所述有效动作提名片段与所述标准动作片段的类别判定结果，并根据所述类别判定结果评价所述医疗行为动作规范性。

2.根据权利要求1所述的方法，其特征在于，在利用所述标准动作片段和所述有效动作提名片段通过训练好的孪生神经网络评价所述医疗行为动作规范性之前，还包括训练孪生神经网络；

其中，训练孪生神经网络，包括：

获取训练集数据中的有效动作提名片段；

利用所述训练集数据中的有效动作提名片段作为输入，交叉熵损失函数作为损失函数对一分类神经网络进行训练；

对训练好的所述分类神经网络进行迁移学习，得到孪生神经网络；

利用所述训练集数据中的有效动作提名片段和标准动作片段作为所述孪生神经网络的输入，对所述孪生神经网络进行训练。

3.根据权利要求1所述的方法，其特征在于，所述双流特征向量包括空间流和时间流，所述空间流是由堆叠的RGB图像为输入得到的特征向量，所述时间流是由堆叠的光流图像为输入得到的特征向量。

4.根据权利要求1所述的方法，其特征在于，利用所述双流特征向量通过残差空洞因果卷积模块进行动作概率分析，包括：将所述双流特征向量输入至堆叠的残差空洞因果卷积模块中进行时序建模，并进行动作概率分析，得到动作概率分数。

5.根据权利要求4所述的方法，其特征在于，若残差空洞因果卷积模块的顶层卷积层的感受野大小为K，则对于任一t时刻顶层神经元接收所述t时刻前面的K个时刻的输入，对所述K个时刻内的视频进行时序建模，构建短时记忆，在所述残差空洞因果卷积模块内设置Sigmoid激活函数，进行动作率分数的分析，并输出3K维的动作概率分数向量，由此得到动作概率分数，所述动作概率分数向量如下式所示：

式中，分别表示在t时刻由所述顶层神经元所预测的m时刻的动作开始、动作结束和动作正在进行的概率分数。

6.根据权利要求5所述的方法，其特征在于，利用所述动作概率分析的结果通过边界决策分析获取待选动作提名片段集ψp，包括：

确定m时刻及其后面K个时刻的动作开始、动作结束、动作正在进行的概率分数集S_m、E_m、A_m；

对所述概率分数集S_m、E_m、A_m进行投票策略或峰值策略分析，得到动作边界时刻的概率分数集；

利用所述动作边界时刻的概率分数集确定待选动作提名片段；

其中，所述概率分数集S_m、E_m、A_m分别如下式所示：