[发明专利]使用无线耳机与智能终端进行交互的人机交互方法

说明书

提供使用无线耳机与智能终端进行交互的人机交互方法，包括：建立耳机与智能终端之间的无线连接；耳机利用自带传感器检测人手在人体的颈部以上区域做出的接触性手势的声音信号，传送到智能终端；智能终端利用已经训练好的、基于机器学习的分类模型对声音信号进行分类和预测，判定所述声音信号是否表示用户做出了预定的手势类型；响应于判定所述声音信号表示做出了预定的手势类型，智能终端对无线耳机执行预定的控制。利用此无线耳机的人机交互方法，用户在自身头部进行触摸式手势，易于找到要触摸的位置，记住特定操作对应的手势；交互系统能够准确地检测到手势动作的有无并准确地对手势动作进行了识别；且响应速度显著快于传统的手机操作方式。

技术领域

本发明总体地涉及使用无线耳机的人机交互技术。

背景技术

传统耳机的交互发生在设备本身的表面上，如触摸屏、物理按钮、摄像头等。例如，现有的无线耳机如三星iconX，苹果AirPods，华为Freebuds等，采用检测振动的方法实现触摸或点击耳机进行交互。

这样的针对无线耳机触摸或点击的传统交互方式具有如下不足：

1.无线耳机体积小，表面积小，点击或触摸无线耳机本身需要用户在操作时准确地找到耳机位置和要点击的表面，根据用户反馈，该过程需要集中注意并显著降低了用户操作的准确性(有可能触碰到其他位置)。

2.无线耳机较轻，固定不牢固，点击和触摸操作会影响耳机在耳内的位置，使得耳机松动甚至容易脱落。

目前，耳机设备向小型、轻便、无线方向发展，对于大多数现有耳机，没有或只有简单的交互功能(如调节音量)，其余功能均需要在手机上操作。这种交互方式有两个问题：其一，手机尺寸越来越大，频繁取出手机并进行操作不够方便和安全(如骑车、开车环境)；其二，输入方式的匮乏直接限制了耳机成为一种独立于手机的可穿戴设备的可能性。虽然近些年产生了与耳机进行语音交互的设计方案，但是考虑到语音识别和人工智能目前的发展水平，该类方案还不能稳定可靠地完成交互任务。此外，部分场合亦不适合进行语音交互。与本发明较为相似的是新出现的敲击和触控方案，如敲击耳机两下(AirPods)或在耳机表面滑动(iconX)。但是此类方案的问题在于两点：其一，直接触碰耳机会使耳机松动甚至脱落，造成用户体验下降；其二，耳机的小型化本身限制了交互操作的面积和可扩展性，根据费兹定律，还会延长用户做操作的时间或降低操作准确度。

发明内容

针对现有技术的如上问题，提出了本发明。

根据本发明的一个方面，提出了一种使用无线耳机与智能终端进行交互的人机交互方法，包括：建立耳机与智能终端之间的无线连接；在用户佩戴上无线耳机的情况下，耳机利用自带传感器检测人手在人体的颈部以上区域做出的接触性手势的声音信号，并传送到智能终端；智能终端利用已经训练好的、基于机器学习的分类模型对声音信号进行分类和预测，判定所述声音信号是否表示用户做出了预定的手势类型；响应于判定所述声音信号表示做出了预定的手势类型，智能终端对无线耳机执行预定的控制。

优选地，所述手势类型包括：单击太阳穴、单击颧骨、单击下颌角、单击枕骨、单击耳廓上边沿、单击耳廓中部、单击耳廓下边沿、双击太阳穴、双击颧骨、双击下颌角、双击枕骨、双击耳廓上边沿、双击耳廓中部、双击耳廓下边沿、在脸部上到下滑动、在脸部下到上滑动、在脸部后到前滑动、在脸部前到后滑动、在下颌角上到下滑动、在下颌角下到上滑动、在枕骨上到下滑动、在枕骨下到上滑动、沿耳廓上到下滑动、沿耳廓下到上滑动、在脸部画圈、两指在脸部做缩放手势、两指在脸部做展开手势。

优选地，所述手势类型为单击、双击、滑动如下部位之一，所述部位为脸部、耳朵或耳后。

优选地，人机交互方法还包括：使用随机梯度下降SGD用作训练分类模型的优化算法，以及结合线性梯度预热方法和余弦退火技术来更新学习率。