[发明专利]一种基于多模态技术的呼吸系统疾病远程监控系统

说明书

本发明提供了一种基于多模态技术的呼吸系统疾病远程监控系统，包括集成成像模块、麦克风阵列模块和处理终端模块，集成成像模块包括集成的远红外热成像装置、可见光成像装置、近红外成像装置，处理终端模块根据远红外热成像装置的热成像图像提取人体的体温和呼吸速率，用于判断人体的发热、呼吸急促情况；处理终端模块根据可见光成像装置、近红外成像装置的成像图像识别人体的咳嗽动作，根据麦克风阵列模块的音频信息识别咳嗽声音，通过人体的咳嗽动作、咳嗽声音来综合判断咳嗽行为。本发明整合了成像模块和麦克风阵列模块，可以实现高精度的呼吸系统疾病典型特征信号提取和分析，满足对于呼吸系统疾病远程监控的应用需求。

技术领域

本发明涉及图像处理技术，音频信号处理领域，具体地，涉及一种基于 可见光成像、近红外成像、远红外热成像、图像处理技术、姿态识别技术和 音频处理技术多模态技术结合的用于呼吸系统疾病远程监控系统。

背景技术

呼吸系统疾病是一种常见病、多发病，主要病变在气管、支气管、肺部及胸 腔，病变轻者多咳嗽、胸痛、呼吸受影响，重者呼吸困难、缺氧，甚至呼吸衰竭 而致死。在城市的死亡率占第3位，而在农村则占首位。更应重视的是由于大气 污染、吸烟、人口老龄化及其他因素，使国内外的慢性阻塞性肺病(简称慢阻肺， 包括慢性支气管炎、肺气肿、肺心病)、支气管哮喘、肺癌、肺部弥散性间质纤 维化，以及肺部感染等疾病的发病率、死亡率有增无减。

如何有效的检测和监测呼吸系统疾病是一个非常重要的问题。不论是在公共 场所的远程监控，还是在医院或者家里的监护都是非常有价值的。呼吸系统疾病 典型特征包含发热，咳嗽，呼吸急促这三种特征。其中，发热的检测已经比较成 熟。非接触式的检测发热症状的仪器主要是依靠体温枪和远红外体温测试仪。这 些仪器主要采用的是通过远红外信号，对人的体温进行检测，当发现人体温过高 时，实现实时警告。但仅仅依靠发热是不足以判断和监测呼吸系统疾病的病情的。

此外，为了实现非接触式的检测呼吸信号，很多非接触式采集远程生理信号 的方法被采用。多普勒雷达通过发射雷达信号来估测胸腔的位移从而获得呼 吸信号，但这种方法对轻微运动的干扰非常敏感，同时也受到待测试对象衣 着等外界因素的影响。也有学者采用超声波的方式来测量呼吸速率，但是这 种方法同样受制于外界环境因素影响。可见光相机也在生理信号的测量中得 到了不少尝试，但是常规的相机在测量过程中受光照等因素影响较大。因此， 有学者采用被动式无源的成像方式如热成像技术对体温、呼吸速率和心率进 行远程测量。也有联合RGB相机和热成像相机一起检测人体的呼吸速率和心 率。

经检索，CN201280042964-使用移动设备来监控员工健康的系统、计算机介 质及计算机实现方法，该专利用可穿戴的方式，将各种传感器放置在员工身上， 用于实时监控员工的健康情况，但是这种方式成本太高，操作不方便。

又如，申请号为201611270849.6基于多模态成像技术的生理信号远程监控 系统及应用，该发明整合了高光谱、可见光、近红外、远红外、激光生物散斑5 种成像模式，可以实现高精度的生理信号提取和分析。同时，本发明可以进行多 模态设备间的协作数据获取和数据间的协同处理分析，以满足睡眠监控和病猪筛 选等不同的应用需求。

但是上述的方法都是单独检测发热特征和呼吸特征，且并没有与呼吸系 统疾病产生关联。同时这些方法存在信息获取单一，干扰因素较多和测量指 标不全面的不足之处。单一的特征检测并不足以满足呼吸系统疾病监测的需 求。

由于对于呼吸系统疾病的判断和强弱监测需要将发热，咳嗽，呼吸急促 等特征一起综合分析，对测量设备的精度要求较高，并且对测量方法的鲁棒 性要求也较高。因此，亟待开发基于多模态技术的呼吸系统疾病远程监控系统， 用于人群呼吸系统疾病的检测以及监测。

发明内容

针对现有技术存在的不足，本发明提供了一种基于多模态技术的呼吸系统 疾病远程监控系统，满足对非接触式呼吸系统疾病的检测和监测需求。