[发明专利]多媒体交互系统及其方法

说明书

技术领域

本发明涉及多媒体应用领域，尤其涉及一种多媒体交互系统及其方法。

背景技术

随着社会分工的精细化，专业性的培训、咨询、指导越来越多。但培训师、咨询师、指导员目前主要是由人来担当，培训、咨询、指导的效果与人的专业素养和身体状态密切相关。

例如，通常心理导师与被指导者需要面对面的交流，心理导师根据被指导者的状态确定与被指导者如何交流，以达到改善被指导者的心理健康的目的。在心理导师处于疲惫状态下，有可能出现偶尔的注意力不集中，从而容易疏忽被指导者通过肢体或语言表达的一些对指导非常有用的关键信息，从而导致指导效果欠佳。有些心理导师的指导经验不足，有可能无法很快捕捉到被指导者的真实焦虑点并无法有效地对症下药，从而导致被指导者体验较差。明显可见，完全依赖心理导师与被指导者的人人对话进行的心理指导，指导效果具有很大的不确定性。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，提供一种多媒体应用系统，以替代目前的人人对话来提供培训、咨询、指导等服务，从而提高服务效果的稳定性。

解决方案

为了解决上述技术问题，根据本发明的一实施例，提供了一种多媒体交互系统，包括：

存储器，用于存储与用户交互所需的交互脚本，所述交互脚本包括预定了播放方式和播放条件的多媒体数据；

多媒体播放子系统；

信息采集子系统，用于采集用户的状态信息和/或所述用户所处环境的环境信息；以及

处理器，与所述存储器、所述多媒体播放子系统和所述信息采集子系统分别连接，用于根据所述状态信息和/或所述环境信息调取所述交互脚本中的多媒体数据，并将所调取的多媒体数据输出至所述多媒体播放子系统。

对于上述系统，在一种可能的实现方式中，所述状态信息包括用户的姿态信息、语音和生理信息中的任意一种或者多种，所述信息采集子系统包括以下设备的任意一种或者多种：

姿态信息采集设备，用于采集用户的姿态信息；

语音采集设备，用于采集用户发出的语音；

生理信息采集设备，用于采集用户的生理信息；

环境信息采集设备，用于采集所述环境信息。

对于上述系统，在一种可能的实现方式中，所述姿态信息采集设备包括体感检测设备、面部识别设备中的任意一种或者多种。

对于上述系统，在一种可能的实现方式中，所述语音采集设备包括麦克风、拾音器，或其他语音采集设备中的至少一种。

对于上述系统，在一种可能的实现方式中，所述生理信息采集设备包括心电检测设备、脑波检测设备、脉搏检测设备、眼动识别设备、声纹识别设备、指纹识别设备、掌纹识别设备、视网膜识别设备中的任意一种或者多种。

对于上述系统，在一种可能的实现方式中，所述多媒体播放子系统包括音频播放设备、视频播放设备、全息影像投影设备、虚拟现实设备、增强现实设备、裸眼3D视觉设备中的任意一种或者多种。

对于上述系统，在一种可能的实现方式中，所述处理器包括：

输入模块，与所述信息采集子系统连接，用于接收所述状态信息；

调取模块，与所述输入模块和所述存储器分别连接，用于在所述状态信息与所述交互脚本中预定义的多媒体数据的播放条件匹配的情况下，从所述存储器中调取所述匹配的多媒体数据及其播放方式；

输出模块，与所述调取模块和所述多媒体播放子系统分别连接，用于根据所述播放方式将所述匹配的多媒体数据输出至所述多媒体播放子系统。

对于上述系统，在一种可能的实现方式中，所述处理器还包括语音处理模块，

所述语音处理模块与所述输入模块以及所述调取模块连接，用于从所述输入模块获取所述状态信息中的语音，对所述语音进行语音识别、语义分析中的至少一种处理后，将所述语音表达的语义信息发送至所述调取模块；和/或

所述语音处理模块与所述调取模块以及所述输出模块连接，用于将所述调取模块调取的多媒体数据中的文字进行语音合成的处理，并将所合成的语音输出至所述输出模块。

对于上述系统，在一种可能的实现方式中，还包括：

环境调节子系统，与所述处理器连接，用于根据所述处理器基于所述环境信息和/或所述交互脚本发出的调节指令对所述用户所处的环境进行调节。