[发明专利]一种构建情感日记和日常活动识别的系统及装置

说明书

本发明涉及一种构建情感日记和日常活动识别的系统及装置，系统包括捕捉系统、识别系统和显示系统，其中识别系统包括情绪识别系统和日常监测系统，该系统用于识别特殊儿童的情绪和行为，使老师和家长能够快速了解儿童的情感变化和行为能力。

技术领域

本发明涉及一种识别系统及装置，尤其是一种构建情感日记和日常活动识别的系统及装置。

背景技术

截止2019年，《中国自闭症教育康复行业发展状况报告》披露：中国的自闭症儿童人数超过200万，自闭症儿童与正常儿童在感官、情绪、肢体、行为或言语等方面有所差异。现在市面上对于自闭症等特殊儿童，开发有针对性的信息管理系统、教育系统、能力评估系统、教具产品等等，但是缺少对他们的情感和行为表达的了解和分析，如何能够知晓他们的情绪变化、行为能力等，以便能够正确的判断他们的所想和所需，是亟需解决的问题，本发明是面向自闭症群体，提出一种构建情感日记和日常活动识别的系统及装置。

发明内容

本发明的目的在于提供一种构建情感日记和日常活动识别的系统及装置。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种构建情感日记和日常活动识别的系统，包括捕捉系统、识别系统和显示系统，其中识别系统包括情绪识别系统和日常监测系统。

进一步的，捕捉系统用于抓取人脸图像、人物行为或者视频，并传输给识别系统。

进一步的，情绪识别系统包括情绪识别模块、情绪记录模块和情感日记构建模块。

进一步的，日常监测系统包括行为分析模块、行为记录模块、监测与异常反馈模块。

进一步的，情绪识别模块使用基于深度学习框架训练的人脸图像训练情绪检测模型，将人脸图像标注对应的情绪。

进一步的，情绪识别模块中的CNN卷积神经网络可通过识别人脸图像，输出各种情绪的softmax列表，并显示得分最高的情绪状态。

进一步的，情绪记录模块持续记录情绪识别模块输出的情绪状态，并传输给情感日记构建模块，构建并输出情感日记。

进一步的，行为分析模块使用基于行为数据集预训练和序列化的行为识别模型。

进一步的，行为分析模块使用用于人类识别的3DResNet和用于图像分类的ImageNet完成深度学习，得到用于活动识别的时空组件。

进一步的，行为分析模块中的行为识别模型识别图像或视频人物行为，并输出行为名称。

进一步的，行为记录模块持续记录行为分析模块输出的人物行为，并传输给监测与异常反馈模块。

进一步的，监测与异常反馈模块对人物行为与预设行为进行对比，若符合预设行为，系统仅进行记录，若不符合预设行为，行为记录模块进行记录，并反馈异常。

进一步的，显示系统接收识别系统输出的情绪状态、情感日记、日常行为及异常反馈等。

一种构建情感日记和日常活动识别的装置，包括捕捉装置、识别装置和显示装置，其中识别装置包括情绪识别装置和日常监测装置。

进一步的，捕捉装置用于捕捉人脸图像、行为动作图像或行为视频，优选摄像头或者摄像机。

进一步的，情绪识别装置用于处理捕捉装置抓取的图像，并反馈结果。

进一步的，日常监测装置用于处理捕捉装置抓取的图像或视频，并作出反馈和判断。

进一步的，日常监测装置包括异常反馈装置，优选自动编码器。

进一步的，显示装置用于输出情绪记录、情感日记、人物行为、异常反馈等结果，优选显示屏。