[发明专利]基于多模态交互式的信息采集方法及系统

说明书

本发明涉及一种基于多模态交互式的信息采集方法及系统，所述信息采集方法包括：基于待验证人员的人脸图像和人声片段进行身份认证；通过所述待验证人员的人脸图像和人声片段，预识别与所述待验证人员相关的属性信息；获取待验证人员的需求信息；根据所述需求信息及所述属性信息，确定问卷内容；所述问卷内容以多模态的交互形式展示给待验证人员，以得到待验证人员的多模态问卷答案；将所述多模态问卷答案进行信息融合；根据融合的结果进行信息的有效性验证。本发明通过待验证人员的人脸图像和人声片段进行身份认证，利用语音和人脸图像信息，从模式识别和多模态融合分析方法入手，从认证端就完成了用户多个问卷身份的关联，然后充分挖掘用户多个维度的信息，并且通过交互的过程对这些信息进行有效性判断，对于准确性存疑的信息，通过二次交互进一步确认信息的有效性。

技术领域

本发明涉及文本、语音、人脸图像等模式识别和多模态信息融合的技术领域，特别涉及一种基于多模态交互式的信息采集方法及系统。

背景技术

随着计算技术和网络技术的发展，交互方式得到了很大的改善，从原来单一的文本交互为主，变为文本、语音、图像、视频等多模态的混合交互模式，这些更丰富的模态信息使得交互像面对面交谈一样自然。

随着交互信息的丰富，交互的数据量也越来越大，随之带来的是，在交互的过程进行数据分析的难度也越来越大。如何合理地收集交互过程中的数据以便帮助完善后期分析的需要，是一个亟待解决的问题。其中涉及两个基本的问题，一方面如何收集到交互过程中涉及的多模态用户信息，另一方面是如何通过模式识别和多模态信息的融合分析方法更好地完成用户的画像。

在互联网飞速发展的今天，个人的信息安全意识不断得到提高，法律法规对个人的隐私保护也越来越严格，所以网络调查问卷形式展示的信息采集系统往往面临着侵犯用户隐私的风险问题。此外，随着现代社会生活节奏的加快，传统的网络调查往往以文本交互的形式展现，问卷通过一问一答获取用户的个人信息，缺乏良好的互动，造成网络人群的参与度很低，这样问卷的覆盖面会非常小，并且无法对信息的准确性进行有效的验证，这样用户画像的完整性和准确性都受到了很大的挑战。

此外，用户的信息往往比较庞杂，无法通过一套问卷就全部得到，这样就需要多个分散的问卷来共同采集用户的信息。针对越来越多的信息采集往往会分散到多个问卷里面，如何通过身份认证的方式来完成多个问卷的身份关联，这也是传统问卷系统面临的一个重要问题。

目前的方案往往通过身份注册系统实现将用户的账户密码存储到问卷系统服务里，然后每次用户通过账号验证的方法来完成身份的关联，这种方案无法识别多人使用同一个账号的问题，并且面临用户由于账户或密码遗忘而无法完成验证的情况。

发明内容

为了解决现有技术中的上述问题，即为了在认证端完成身份的有效验证，确保信息采集的完整性和准确性，本发明的目的在于提供一种基于多模态交互式的信息采集方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种基于多模态交互式的信息采集方法，所述信息采集方法包括：

基于待验证人员的人脸图像和人声片段进行身份认证；

通过所述待验证人员的人脸图像和人声片段，预识别与所述待验证人员相关的属性信息；

获取待验证人员的需求信息；

根据所述需求信息及所述属性信息，确定问卷内容；所述问卷内容以多模态的交互形式展示给待验证人员，以得到待验证人员的多模态问卷答案；

将所述多模态问卷答案进行信息融合；

根据融合的结果进行信息的有效性验证。

可选地，所述基于待验证人员的人脸图像和人声片段进行身份认证，具体包括：

获取待验证人员的人脸图像和人声片段；