[发明专利]基于多模态交互式的信息采集方法及系统

权利要求书

1.一种基于多模态交互式的信息采集方法，其特征在于，所述信息采集方法包括：

基于待验证人员的人脸图像和人声片段进行身份认证；

通过所述待验证人员的人脸图像和人声片段，预识别与所述待验证人员相关的属性信息；

获取待验证人员的需求信息；

根据所述需求信息及所述属性信息，确定问卷内容；所述问卷内容以多模态的交互形式展示给待验证人员，以得到待验证人员的多模态问卷答案；

将所述多模态问卷答案进行信息融合；

根据融合的结果进行信息的有效性验证。

2.根据权利要求1所述的基于多模态交互式的信息采集方法，其特征在于，所述基于待验证人员的人脸图像和人声片段进行身份认证，具体包括：

获取待验证人员的人脸图像和人声片段；

提取所述人脸图像的人脸编码向量以及人声片段的声纹向量；

根据所述人脸编码向量及声纹向量，确定数据库中是否有匹配的人脸编码和声纹向量；如果有则认证通过，否则确定所述待验证人员为新用户，将所述待验证人员的人脸编码和声纹向量存储至所述数据库中，并设置唯一的ID标识；所述数据库中存储有多组用户信息，各所述用户信息包括ID标识、人脸编码、声纹向量及用户的问卷信息。

3.根据权利要求2所述的基于多模态交互式的信息采集方法，其特征在于，所述根据所述人脸编码向量及声纹向量，确定数据库中是否有匹配的人脸编码和声纹向量，具体包括：

计算待验证的人脸编码向量和声纹向量与数据库中每一个ID标识下的人脸编码向量和声纹向量的相似度，当两者相似度同时达到对应的相似度阈值时，确定所述数据库中有匹配的人脸编码向量和声纹向量。

4.根据权利要求2所述的基于多模态交互式的信息采集方法，其特征在于，所述基于待验证人员的人脸图像和人声片段进行身份认证，还包括：

在身份认证通过后，根据所述待验证人员的人脸图像和人声片段对所述数据库进行更新。

5.根据权利要求4所述的基于多模态交互式的信息采集方法，其特征在于，所述在身份认证通过后，根据所述待验证人员的人脸图像和人声片段对所述数据库进行更新，具体包括：

假定本次提取的人脸编码向量为F(n)、声纹向量为S(n)，而数据库中存放的匹配的人脸编码向量为F(o)、声纹向量为S(o)，则本次认证后更新到数据库的人脸编码向量与声纹向量分别：

；

；

其中，为遗忘指数。

6.根据权利要求1所述的基于多模态交互式的信息采集方法，其特征在于，所述属性信息包括：采集设备状况、环境状况及用户状态中至少一者；

所述采集设备状况包括采集设备的分辨率；

所述环境状况包括环境的明暗、安静与嘈杂中至少一者；

所述用户状态包括性别、年龄、身高体重指数及心情状态中至少一者。

7.根据权利要求1所述的基于多模态交互式的信息采集方法，其特征在于，所述问卷内容以多模态的交互形式展示给待验证人员，具体包括：

待验证人员能够通过选择阅读问题然后点击选项的形式交互；或者通过选择语音进行问答的形式交互；或者上传对应的图像就能完成信息的自动识别和填写；或者实时地以视频形式与问卷进行交互。

8.一种基于多模态交互式的信息采集系统，其特征在于，所述信息采集系统包括：

认证登录单元，用于基于待验证人员的人脸图像和人声片段进行身份认证；

预识别单元，用于通过所述待验证人员的人脸图像和人声片段，预识别与所述待验证人员相关的属性信息；

获取单元，用于获取待验证人员的需求信息；

确定单元，用于根据所述需求信息及所述属性信息，确定问卷内容；所述问卷内容以多模态的交互形式展示给待验证人员，以得到待验证人员的多模态问卷答案；

融合单元，用于将所述多模态问卷答案进行信息融合；

验证单元，用于根据融合的结果进行信息的有效性验证。