[发明专利]基于人工智能虚拟形象的互动服务方法及装置

权利要求书

1.一种基于人工智能虚拟形象的互动服务方法，上述方法在包括无人信息终端和互动服务装置的系统中执行，其特征在于，包括如下步骤：

向互动服务装置传输从安装有上述无人信息终端的麦克风阵列收集的声音信号和从视觉传感器收集的影像信号；

上述互动服务装置基于接收到的声音信号和影像信号来设定检测区域；

上述互动服务装置基于在上述检测区域内收集的用户的语音信号和用户的影像信号来识别主动说话人员；

上述互动服务装置生成针对识别到的主动说话人员的反应，对人工智能虚拟形象进行三维渲染后，向上述人工智能虚拟形象反映所生成的反应；以及

上述互动服务装置向上述无人信息终端提供所渲染的人工智能虚拟形象。

2.根据权利要求1所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在设定上述检测区域的步骤中，上述互动服务装置基于接收到的声音信号并通过声源定位方法来推定声源方向，通过旁瓣信号对消方法限制来自侧面的声音输入，针对接收到的影像信号应用背景分离技术来限制识别到的对象之后的影像输入。

3.根据权利要求1所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在识别上述主动说话人员的步骤中，针对上述检测区域内用户的影像信号，上述互动服务装置通过人脸识别方法来确定人的数量，当在检测区域内识别到多人时，通过声源位置推定方法、语音识别方法及嘴形识别方法中的一种以上的方法来将识别成说话人员的人选定为主动说话人员。

4.根据权利要求1所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，针对接收到的用户的影像信号，分析包括说话人员的脸部表情、姿势、手势、语气中的一种以上的信息来生成反应。

5.根据权利要求4所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，上述互动服务装置通过上述语音识别、自然语言理解及文本转语音中的一种以上来识别主动说话人员的语音。

6.根据权利要求5所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，上述互动服务装置对识别到的语音信息和非语音信息赋予加权值，当上述语音信息和非语音信息表示相同方向的结果或表示不同方向的结果时，上述互动服务装置对识别到的语音信息和非语音信息赋予互不相同的加权值。

7.根据权利要求4所述的基于人工智能虚拟形象的互动服务方法，其特征在于，

在向上述无人信息终端提供上述人工智能虚拟形象的步骤中，通过从上述用户的语音或影像中分析脸部表情、手势、语气来识别用户的情绪状态，并对应于所识别到的情绪状态来改变人工智能虚拟形象的表情、手势、语气或添加效果。

8.一种基于人工智能虚拟形象的互动服务装置，其特征在于，包括：

无人信息终端，安装有麦克风阵列及视觉传感器，从上述麦克风阵列收集声音信号并从视觉传感器收集影像信息；以及

互动服务装置，接收上述声音信号和影像信号来设定检测区域，基于在上述检测区域内收集的用户的语音信号和用户的影像信号来识别主动说话人员，生成针对识别到的主动说话人员的反应，对人工智能虚拟形象进行三维渲染后，向上述无人信息终端提供在所渲染的人工智能虚拟形象反映上述反应的所渲染的人工智能虚拟形象。

9.根据权利要求8所述的基于人工智能虚拟形象的互动服务装置，其特征在于，

上述互动服务装置基于接收到的声音信号并通过声源定位方法来推定声源方向，通过旁瓣信号对消方法限制来自侧面的声音输入，针对接收到的影像信号应用背景分离技术来限制所识别到的对象之后的影像输入。