[发明专利]一种基于融合模型的婴儿脑发育量化评估系统

说明书

一种基于融合模型的婴儿脑发育量化评估系统，包括姿态估计模块、坐标预处理模块、特征提取模块、决策树分类模块、图卷积分类模块、多维指标分析模块和结果可视化模块；姿态估计模块的输入是婴儿运动视频，姿态估计模块的输出与坐标预处理模块的输入相连，坐标预处理模块的输出与特征提取模块的输入相连，特征提取模块的输出与决策树分类模块的输入相连，决策树分类模块的第一输出与图卷积分类模块的输入相连，决策树分类模块的第二输出、图卷积分类模块的输出和多维指标分析模块的输入相连，多维指标分析模块的输出和结果可视化模块的输入相连；本发明对婴儿的脑发育进行多维精细的量化判断，同时提供可解释性的结果，辅助医师进行针对性治疗。

技术领域

本发明属于婴儿行为分析评估技术领域，具体涉及一种基于融合模型的婴儿脑发育量化评估系统。

背景技术

儿科医师可以依据经验在床旁观察分析婴儿的自发运动模式，诊断婴儿的脑发育状态，但是此类诊断方式依赖医师的主观经验，导致漏诊、误诊率较高，目前也存在部分基于视频的智能分类系统([1]K.D.McCay et al.,A pose-based feature fusion andclassification framework for the early prediction of cerebral palsy ininfants,IEEE Transactions on Neural Systems and Rehabilitation Engineering,vol.30,pp.8-19,2021；[2]D.Sakkos,K.D.Mccay,C.Marcroft,N.D.Embleton,S.Chattopadhyay,and E.S.Ho,Identification of abnormal movements in infants:Adeep neural network for body part-based prediction of cerebral palsy,IEEEAccess,vol.9,pp.94281-94292,2021；[3]K.D.McCay,E.S.Ho,H.P.Shum,G.Fehringer,C.Marcroft,and N.D.Embleton,Abnormal infant movements classification withdeep learning on pose-based features,IEEE Access,vol.8,pp.51582-51592,2020.)，可实现输入婴儿运动视频，输出正常或者异常结论的方法，其技术方案为使用深度学习方法或传统机器学习方法对整段输入视频进行二分类，但是该类方法可解释性差，评价比较粗糙，难以满足婴儿自发行为质量的多维精细量化评估，进一步致使个性化治疗难以实现。

发明内容

为了克服现有技术缺点，本发明的目的是提供一种基于融合模型的婴儿脑发育量化评估系统，对婴儿的脑发育进行多维精细的量化判断，同时提供可解释性的结果，辅助医师进行针对性治疗。

为达到以上目的，本发明采用的技术方案为：

一种基于融合模型的婴儿脑发育量化评估系统，包括姿态估计模块1、坐标预处理模块2、特征提取模块3、决策树分类模块4、图卷积分类模块5、多维指标分析模块6和结果可视化模块7；姿态估计模块1的输入是婴儿运动视频，姿态估计模块1的输出与坐标预处理模块2的输入相连，坐标预处理模块2的输出与特征提取模块3的输入相连，特征提取模块3的输出与决策树分类模块4的输入相连，决策树分类模块4的第一输出与图卷积分类模块5的输入相连，决策树分类模块4的第二输出、图卷积分类模块5的输出和多维指标分析模块6的输入相连，多维指标分析模块6的输出和结果可视化模块7的输入相连；

姿态估计模块1实现对输入的婴儿运动视频的姿态提取；

坐标预处理模块2实现对姿态坐标序列的插值、中值滤波和平滑滤波；

特征提取模块3实现对各关节坐标序列的运动参数的切分和计算，形成各关节的子序列特征集合；