[发明专利]基于AI检验的咨询师质量评估系统及评估方法

权利要求书

1.一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制；其特征在于：

其中，所述咨询师端(3)包括咨询师视频显示端(6)、音频播放端(7)、播放控制模块(8)、咨询提醒单元(9)和AI分析器(15)；其配置成，所述咨询师视频显示端(6)采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端(7)用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块(8)用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器(15)根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元(9)可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；

所述咨询者端(4)包括视频播放模块(10)、摄像头(11)、耳麦(12)、本地服务器(13)和音响(14)；其中所述视频播放模块(10)用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦(12)用于将咨询者的声音转换为电信号并进行传输；所述摄像头(11)用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器(13)用于在咨询者端进行分析和操纵，用于控制本地的音频、视频播放和声音、视频的传感；

所述咨询案例存储库(2)存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息；所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式；在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。

2.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器(13)结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸得出最近的视频图像流，并将处理后的视频图像流发送给咨询控制服务器和发送给咨询师端进行播放。

3.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄，通过分析用户和年龄和微表情确定识别过程中的心理状态，然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师，并提醒咨询师是否仅需要换一个咨询方式进行或者中止当前的咨询。

4.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析，从而在咨询者存在语言或视频交流障碍时采用转换成文字的形式咨询。

5.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器其用于根据用户的身体情况、天气情况等设定特定的气候，容易对情绪的专门影响，在AI分析器进行相应的分析判断时进行必要的调整。

6.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述分析器使用bert模型，对识别的语音文字进行情绪分析，确定咨询过程中用户的情绪；并识别咨询师咨询的过程是否专业，是否有违规的情况产生。