[发明专利]一种基于多模态识别的智能电梯控制系统及控制方法

权利要求书

1.一种基于多模态识别的智能电梯控制方法，其特征在于：所用的智能电梯控制系统包括：摄像装置，用于采集用户人脸信息，实现人脸信息注册和识别，同时满足用户的远程视频通话需求；指静脉装置，用于采集用户指静脉信息，实现指静脉注册和识别；语音通话装置，用于接收用户的控制指令信息及在紧急状态下与物业及相关部门进行沟通；控制单元，用于存储用户的指静脉数据和人脸信息数据、进行人脸识别和指静脉识别并将识别结果进行反馈，以及接收语音控制指令并启动电梯，以及设置电梯目标楼层的安全等级；桥连电路设备，用于为摄像装置、指静脉识别装置、语音通话装置和控制单元提供稳定的电源；通信单元，用于将采集的信息或发出的命令传输到目标位置；

其包括以下步骤：

1）利用指静脉装置和摄像装置对用户进行指静脉信息以及人脸信息注册，依据注册信息建立当前用户的信息数据库；针对电梯到达的每个目标楼层设置相应的安全等级，安全等级包括高安全等级、中安全等级和低安全等级；

2）用户在使用电梯时，根据目标楼层的安全等级，启动摄像装置、指静脉装置、语音通话装置中的一个或多个装置，对用户信息进行验证，若验证成功，控制单元启动电梯到达指定楼层，若验证失败，则进入下一步；

当目标楼层的安全等级为高安全等级时，摄像装置、指静脉装置和语音通话装置依次动作，所述的步骤2）的具体步骤包括：

2.1）用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别验证，如果人脸识别多次验证失败，直接进入步骤3），如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉验证；

2.2）用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，直接进入步骤3），如果指静脉识别验证成功，则播报目标楼层信息，同时发送信号至目标楼层，提醒目标楼层管理员进行远端认证；

2.3）如果目标楼层管理员未进行指静脉验证或指静脉验证多次失败，直接进入步骤3），如果目标楼层管理员指静脉验证成功，播报验证成功信息，同时控制单元启动电梯到达目标楼层；

2.4）当经过上述步骤进行身份验证且验证结果最终失败时，根据验证失败

原因，智能电梯控制系统还会进行如下操作：如果用户在进行人脸验证时失败次数过多，则记录当前人脸信息，并提醒用户进行指静脉验证；如果此时指静脉验证成功，则将利用当前人脸信息刷新注册的人脸数据；如果用户在进行指静脉验证时失败次数过多，则记录当前用户的人脸信息和指静脉信息进行留存，同时打开语音识别提醒乘梯用户输入目标楼层，然后发起目标楼层远程验证申请，如果目标楼层指静脉验证通过，则启动电梯直至到达目标楼层，如果目标楼层拒绝通过，则自动打开视频录像功能，通知安保单位介入；如果用户目标楼层验证失败次数较多，且当前目标楼层用户未通过其他注册用户介入，则自动通知物业管理人员进行介入处理；

当目标楼层的安全等级为中安全等级时，摄像装置、指静脉装置依次动作，所述的步骤2）的具体步骤包括：

2.1）用户靠近摄像装置，摄像装置捕捉到目标人脸进行人脸识别，如果人脸识别多次验证失败，则建议用户直接进行指静脉识别验证，如果人脸识别验证成功则播报用户信息，并提醒用户进行指静脉识别验证；

2.2）用户通过指静脉装置进行指静脉识别验证，如果指静脉多次验证失败，则直接进入步骤3），如果指静脉识别验证成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层；

当目标楼层的安全等级为低安全等级时，用户选择摄像装置进行人脸识别验证或者选择指静脉装置进行指静脉识别验证或者通过摄像装置和语音通话装置直接联系目标楼层管理员，通过远端认证的方式启动电梯；当用户选择人脸识别验证或指静脉识别验证时，如果选择的验证方式成功，则播报目标楼层信息，控制单元启动电梯到达目标楼层，如果选择的验证多次失败，则进入步骤3）；

3）当验证失败后，控制单元启动语音通话装置和摄像装置，并转接物业或相关部门进行处理，经物业或相关部门远端认证后解除控制电梯的控制限制。

2.根据权利要求1所述的基于多模态识别的智能电梯控制方法，其特征在于：所述的摄像装置还用于为物业及相关部门提供电梯内的视频画面。