[发明专利]基于多模态交互式的信息采集方法及系统

摘要

本发明涉及一种基于多模态交互式的信息采集方法及系统，所述信息采集方法包括：基于待验证人员的人脸图像和人声片段进行身份认证；通过所述待验证人员的人脸图像和人声片段，预识别与所述待验证人员相关的属性信息；获取待验证人员的需求信息；根据所述需求信息及所述属性信息，确定问卷内容；所述问卷内容以多模态的交互形式展示给待验证人员，以得到待验证人员的多模态问卷答案；将所述多模态问卷答案进行信息融合；根据融合的结果进行信息的有效性验证。本发明通过待验证人员的人脸图像和人声片段进行身份认证，利用语音和人脸图像信息，从模式识别和多模态融合分析方法入手，从认证端就完成了用户多个问卷身份的关联，然后充分挖掘用户多个维度的信息，并且通过交互的过程对这些信息进行有效性判断，对于准确性存疑的信息，通过二次交互进一步确认信息的有效性。