[发明专利]基于视觉与压力传感的病房智能看护识别方法及识别系统

权利要求书

1.一种基于视觉与压力传感的病房智能看护识别方法，其特征在于，其包括步骤如下：

S1、对要实施智能看护病房场景中的物体贴上标签，并对病房场景内带标签的物体进行识别：

S11、通过带标签的物体训练检测相应类别物体上标签的神经网络模型；

S12、根据智能相机检测到的标签，标示出病房场景内所有可疑物体位置，并将不带标签的物体通过视觉算法进行过滤，将过滤后物体的标签按其在病房场景内的位置划分；

S13、根据病房场景内待看护体的视觉特征，训练检测待看护体的神经网络模型，通过该神经网络对待看护体所在位置进行检测；

S2、使用可见光及热成像智能工业相机的热成像模式，对病房场景的环境温度及相对病房场景的环境温度进行测量：

S21、将可见光及热成像智能工业相机所配套的黑体作为病房场景内环境温度的参照基准，得到病房场景环境温度整个范围内的热成像模式；

S22、根据可见光及热成像智能工业相机中的可见光模式，得到病房场景内待看护体的检测框，在步骤S21得到的热成像模式中，由可见光及热成像智能工业相机对病房场景内待看护体进行区域分割，并将分割区域用原图的周边像素进行填充；

S23、根据步骤S22得到的分割区域评估病房场景内待看护体的体温是否在正常的体温范围内，并计算病房场景内待看护体的体温与病房场景的环境温度的差异是否超出正常范围；

S3、根据病房场景内压力传感床垫得到的压力传感图像和用智能相机识别的姿态进行姿态判别：

S31、根据病房场景内待看护体不同姿态对压力传感床垫形成的局部压力的不同，形成不同的压力传感图像的灰度，局部压力生成图像的计算表达式为：

其中，V为图像的灰度，i，j表示局部压力对应的网格位置，F表示该区域的局部压力，N为局部区域划分的网格边长，clamp函数如下：

其中，x为产生的局部压力；

最后将该局部压力生成的图像上传远程监控主机；

S32、将上传远程监控主机的局部压力生成的图像用神经网络分类模型进行识别，得到不同的由局部压力预测姿态的结果；

S4、根据上述步骤S1至S3，对不同物体对应的检测框按照人体检测框对这些物体的交并比大小，进行行为识别，将这些行为识别的结果按初始设定的标注信息进行危险程度评估，从而判断是否发出安全报警信号；具体包括以下步骤：

S41、根据智能相机在步骤S1无遮挡的时候，储存的过滤后的物体检测框与标签检测框的位置和数量，以及在步骤S1中位置的划分，进行行为识别；将智能相机存储好的物体检测框位置及数量与当前物体检测框的位置及数量进行对比，当物体检测框数量缺失时，且待看护体检测框出现在物体检测框时，按照步骤S12中的表达式计算初始物体检测框与当前待看护体检测框的交并比的计算；当交并比的值大于设定的阈值时则认为待看护体当前可能存在风险，立即将智能相机采集的视频、物体和人的检测框的位置以及当前危险区域的信息向远程监控主机发送；

S42、远程监控主机对收到视频的每一帧进行行为识别，采用段共识函数G进行融合来产生段共识，段共识函数G结合多个短片段的类别得分输出以获得它们之间关于类别假设的共识；基于步骤S424的关于类别假设的共识，将预测函数H结合标准分类交叉熵损失，得到关于风险区域预测风险行为部分共识的最终损失函数G的形式为：

其中，C是行为类别的总数，y_i是类别i的标签，L是损失，y是预测值；

如果待看护体存在风险，则由远程监控主机通过报警装置发送安全报警信号。

2.根据权利要求1所述的基于视觉与压力传感的病房智能看护识别方法，其特征在于，所述步骤S12中，识别病房场景内带标签的物体，利用深度学习开源框架给出的预训练模型参数初始化模型参数，并初始化检测模型的骨干网络，并得到病房场景内所有带标签物体的检测模型，然后根据标签中心点的预测情况删掉物体上多余的检测框。

3.根据权利要求1所述的基于视觉与压力传感的病房智能看护识别方法，其特征在于，在步骤S22中，将分割区域用原图的周边像素进行填充，按照可见光及热成像智能工业相机对人体分割的结果，将分割区域内最高温度块的平均温度作为病房场景内待看护体的温度。