[发明专利]使嘴部图像与输入指令关联的系统和方法

说明书

一种自动会话识别系统使用：计算机存储器；执行成像软件和音频处理软件的处理器；以及传输会话输入的物理源的图像的相机。音频处理软件包括从至少一个会话输入导出的音频样本的音频数据流。至少一个定时器被配置为响应于至少一个定时器接收到的各个触发点而向所述计算机存储器传输所测量的经过时间值。音频处理软件被配置为对定时器触发点进行起效和解除起效，以测量音频样本之间的相应音频采样时间和过渡周期时间。音频处理软件还被配置为将过渡周期时间与对应于指令之间的期望过渡时间值的指令间隔时间值进行比较，由此确定会话输入为指令数据或非指令数据。

相关申请的交叉引用

本申请要求2017年3月23日提交的标题为“System and Method of CorrelatingMouth Images to Input Commands”的待审美国临时专利申请No.62/475,510的优先权，并且通过引用将其全部并入该案。

背景技术

本公开涉及自动会话识别和从会话输入装置接收音频指令的领域，其中，将音频指令与来自成像装置或图像传感器(例如聚焦于音频指令源的相机)的图像数据进行交叉检查。口述词句是通过嘴部运动调节从说话者的嘴部通过空气传播的声波而产生的。用户的车辆会话输入系统通常包括一个或多个被放置以检测语音的麦克风。典型地，这些麦克风是机电组件，这些机电组件在一定范围的会话(频率小于20khz的声波)的机械频率上发生机械共振。可以将数字语音令牌(时间性会话片段)发送到人工语音识别系统，并转换为数字请求(例如，车辆信息娱乐系统或车辆控制系统中的信息技术请求，或通过无线网络传输的外部基于Web的服务请求)。这些音频请求的成果是使所需功能简化和/或自动化，以增强用户的舒适度和/或便利性和/或安全性——通常这三个方面都被增强。

为了改善人工语音识别系统的性能，已经开发了许多数字和算法驱动的方法。例如，基于从音频内容中学习特定用户会话特征的令牌匹配系统通常用于提高人工语音识别系统的成功率。另一种典型的方法是使用人工智能技术来将语音输入的会话特征与一个或多个音标特征(例如语言、发音等)进行匹配。通常用于减少噪声的一种附加方法是要求用户按下通常在方向盘上的机电按钮，以将语音捕获限制在按下按钮的时间。

在一些情况下，声音检测和处理系统使用一个或多个麦克风，并且使用后续信号处理来降低噪声(包括道路噪声、来自车辆娱乐系统产生的噪声和非用户的音频输入)的影响。降噪可以通过适当的麦克风的几何布置来实现，以在降低噪声的同时增强用户语音输入。另外，多个麦克风相对于正常驾驶过程中用户位置的适当对称布置有助于降低外部噪声源的影响。具体地，例如，假设用户是车辆的驾驶员，“目视道路”，则在眼睛自然地面向前方时将麦克风相对于自然嘴部位置的视轴矢量对称地放置。研究显示，对麦克风输入的后续相位对消处理可以大大降低噪声的影响。在此示例中，在多个麦克风处检测到的用户会话信号的相位是相同的(因此距离用户嘴部的行进距离相同)，而多个麦克风处的来自车辆内部/外部其他位置的噪声相位则具有不同的相位，因此可以通过各种信号处理技术过滤掉此声音。

自动会话识别处理中的误差可导致错误地确定意旨的用户会话，从而导致用户潜在的挫败感(和/或分心)。例如，会话识别可能会错误地解读声音并发出错误的请求(例如，呼叫错误的人)。或者，会话识别会忽略该请求。包括了声音检测和测量系统在内的自动会话识别处理的一个目标是最大化用户的会话输入声音(信号)的质量，并最小化不需要的声音(噪声)，例如，最大化信噪比(SNR：Signal to Noise)。

自动会话识别领域中的一个问题在于，对于现有技术的系统而言，缺乏可靠的方式来用附加的带外(out-of-band)信息(即，除标准音频信号分析之外的信息)来复查所感知的会话输入。本领域在构造自动会话识别系统方面存在需求，以使发出至车辆操作及性能系统的用户指令在来源、授权和内容方面都得到保证。

发明内容