[发明专利]一种自助设备的辅助交互方法与装置

权利要求书

1.一种自助设备的辅助交互方法，其特征在于，包括步骤：

人体感应模块检测用户，检测到用户后触发激活，语音指导用户进入业务办理；

语音采集处理单元通过线性麦克风阵列采集声音并进行降噪处理得到清晰的实时音频流；

语音识别处理引擎通过预先训练好的模型对实时音频流进行翻译、加工并整合成标准话术；

语义分析处理引擎对标准话术分析处理，分为三种导向：噪音话术、问题话术和意图话术；当导向为噪音话术时，将其直接抛弃并返回无效标识到副屏显示，当导向为问题话术时，经预先训练的模型二次处理后返回相应的答案到副屏显示，当导向为意图话术时，返回意图指令标记到副屏显示；

返回意图指令标记时，用户发出语音指令或点击副屏，所述意图指令标记包括智能咨询页面、远程指导页面和业务办理页面；

当智能咨询页面和业务办理页面被触发时，副屏业务界面会切换到当前正在进行的主屏业务办理的流程演示以及提示上面，主屏负责返回答案和实际的业务办理；

当远程指导页面被触发时，运行远程客服管理系统，用户可选择与坐席终端人员实时音视频通话或与坐席终端人员分享自助设备主屏及副屏进行业务办理的画面；

所述坐席终端人员的接听小组通过密码登录账号，图像或语音显示于副屏，通话过程中通过相应权限进行主屏信息查看和用户需求问答。

2.如权利要求1所述的自助设备的辅助交互方法，其特征在于，还包括步骤：

语义分析处理引擎根据标准话术将对应答案封装成格式化的JSON字符串发送给副屏，所述格式化的JSON字符串包含class、intent、answer、entity几个字段的内容；

语义分析处理引擎对标准话术的分析处理导向为问题话术时，对标准问题和对应答案进行解析，将知识数据库模块的JSON字符串中“question”和封装的格式化JSON字符串“intent”和“answer”通过相应的页面展示给用户；

语义分析处理引擎对标准话术的分析处理导向为意图话术时，将操作描述和对应的槽值实体赋予字段“intent”和“entity”并返回，用于描述本轮人机交互或自助设备主副屏通信交互的结果。

3.如权利要求1所述的自助设备的辅助交互方法，其特征在于，所述用户与坐席终端人员分享自助设备主屏及副屏进行业务办理采用Web页面的网络音视频通话方案。

4.如权利要求1所述的自助设备的辅助交互方法，其特征在于，所述用户可根据不同需求选择不同分组的坐席终端人员。

5.一种应用权利要求1所述方法的自助设备的辅助交互装置，其特征在于，包括：

人体感应模块，用于检测用户；

知识数据库模块，包含业务相关知识和槽类型的标准答案及话术，存储于JSON字符串中；

人机语音交互模块，包括语音采集处理单元、语音识别处理引擎和语义分析处理引擎，用于声音的采集、降噪、翻译、加工、整合和分析处理；

副屏，用于显示和感知用户触摸；

远程客服管理系统，包括摄像头和音视频通话服务器，是远程控制的统一管理平台，包含分配坐席账号、坐席工作安排、坐席通话管理的功能；

所述远程客服管理系统包括平台管理服务、建立连接的服务、自动排队等待服务、远程桌面服务、通话转接服务、音视频备份服务；

主副屏交互系统，用于主副屏的通信交互，主副屏通过串口协议连接。

6.如权利要求5所述的自助设备的辅助交互装置，其特征在于，所述远程客服管理系统职责属性将坐席终端人员编排了不同的分组。