[发明专利]一种基于视频的婴幼儿智能看护系统及方法

说明书

本发明公开了一种基于视频的婴幼儿智能看护系统及方法，该系统中至少设置有摄像头模块、网络传输模块、视频分析处理模块和客户端应用模块。步骤1、采用Facenet深度学习模型进行人脸检测，检测目标图像中是否存在人脸；步骤2、当检测到存在目标人脸时，启动人脸关键点检测进行人脸定位；步骤3、当检测到人脸位置时，将人脸位置信息发到给人脸关键点检测模块，关键点检测模块将会循环检测人脸关键点的位置并对人脸位置进行实时跟踪，关键点检测采用Facenet模型进行检测，根据关键点的位置计算的面积大小来判定，来识别眼睛、嘴巴的张合程度达到面部表情识别的目的。本发明能够将相应的提醒消息推送到家长端，方便可靠地实现了实时的婴幼儿智能看护。

技术领域

本发明涉及一种视频分析技术领域，具体涉及一种基于视频分析技术的婴幼儿智能看护方法。

背景技术

婴幼儿的生理和心理发育不成熟，很难表达自己的情感和想法，因此需要家长给予时时刻刻的关怀和照顾。但是受各种外界环境的影响，同时家长的精力和时间有限，不可能时时刻刻都能在婴幼儿身边。比如家长可能会趁着婴幼儿处于睡眠状态的时候，做一些自己的事情，但是如果婴幼儿醒了，会渴望家长在身边，可能会哭泣；另一方面，婴幼儿的大小便是一个很值得家长留心的问题，如果家长没有意识到婴幼儿的大小便的发生，时间久了，可能会导致婴幼儿屁股出现红肿或者疮伤等不健康的症状。

现有的一些婴幼儿看护系统，主要是通过各种各样的传感器(比如视频、声音、温度、湿度等多种传感器)对婴幼儿进行监控，这样使得看护系统臃肿不堪，而本方案主要是通过视频处理技术来实现对婴幼儿当前状态或者表情的判断，记录下婴幼儿的精彩瞬间，并且当婴幼儿情绪有较大的波动时对家长进行远程提醒，同时，通过面部状态的变化分析出婴幼儿便溺时刻，以提醒家长尽快检查与更换婴幼儿衣物等。

发明内容

本发明旨在提出一种基于视频处理技术的智能看护系统及方法，旨在仅通过视频分析处理实现对婴幼儿当前状态或者面部表情的判断，从而协助婴幼儿家长实现对婴幼儿更好的看护。

本发明的一种基于视频的婴幼儿智能看护系统，该系统中至少设置有摄像头模块、网络传输模块、视频分析处理模块和客户端应用模块；其中：

所述摄像头模块，用以采集婴幼儿脸部视频图像；

所述视频处理模块，用以提取视频图像中婴幼儿脸部特征，分析判断婴幼儿面部表情，从而判断出婴幼儿当前状态或者判断婴幼儿是否处于便溺状态等，所述婴幼儿面部表情识别结果若为哭泣或便秘状态，发送警报到客户端模块；

所述网络传输模块，用以通过Internet实现视频信号或者警告信号的实时传输。

所述客户端应用模块，安装在智能移动设备中的应用程序，用于查看婴幼儿实时动态或者接收相关的提醒推送等；所述提醒推送主要是婴幼儿实时动态信息；

所述视频处理模块还包括关键点分析模块，用于循环检测人脸关键点的位置并对人脸位置进行实时跟踪。

本发明的一种基于视频的婴幼儿智能看护方法，该方法具体包括以下流程：

步骤1、采用Facenet深度学习模型进行人脸检测，检测目标图像中是否存在人脸；

步骤2、当检测到存在目标人脸时，启动人脸关键点检测进行人脸定位，实现人脸关键点对齐；所述关键点至少包括眼眉、眼睛、鼻子、嘴巴、下巴这些脸部基本轮廓的数据；

步骤3、当检测到人脸位置时，将人脸位置信息发到给人脸关键点检测模块，关键点检测模块将会循环检测人脸关键点的位置并对人脸位置进行实时跟踪，关键点检测采用Facenet模型进行检测，根据关键点的位置计算的面积大小来判定，来识别眼睛、嘴巴的张合程度，具体为：通过对二值化之后婴幼儿眼睛和嘴巴的面积的提取，以面积大小来代表所识别到的眼睛、嘴巴的张合程度；深度模型在训练时，采用跟踪的方式增加视频序列图像的训练数据，增强训练数据在时间位移上的关联性。