[发明专利]远程医疗中症状的实时标注

说明书

一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。

技术领域

本发明涉及视频会议，并且更具体地涉及用于视频会议中的面部、身体和语音症状的实时标注的系统。

背景技术

远程医疗是这样的实践，通过该实践，可以向位于不同位置，可能在很远的距离的医疗从业者和患者提供医疗。远程医疗为服务不足的人群提供优质的医疗创造了机会，并且还将访问扩展到高度专业化的提供者创造了机会。远程医疗还具有降低医疗保健成本的潜力。

发明内容

一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。

一种电话会议系统包括第一终端，该第一终端包括相机和麦克风，该第一终端被配置为获取音频信号和高质量视频信号，并且将所获取的高质量视频信号转换为比特率小于该高质量视频信号的比特率的低质量视频信号。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收低质量视频信号和音频信号，并将低质量视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收高质量视频信号和音频信号，异步地分析高质量视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以显示在第二终端上。

一种用于电话会议的方法包括从第一终端获取音频信号和视频信号。视频信号和音频信号被传输到与第一终端和第二终端通信的电话会议服务器。将视频信号和音频信号发送到症状识别服务器，其与所述第一终端和所述电话会议服务器通信。使用多模态递归神经网络从视频信号和音频信号检测疾病迹象。针对所检测到的疾病迹象生成诊断警报。用诊断警告标注视频信号。在第二终端上显示标注的视频信号。

一种用于从图像数据检测疾病迹象的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令可由计算机执行以使所述计算机使用所述计算机获取音频信号和视频信号，使用所述计算机从所述视频信号检测面部，使用所述计算机从所述检测到的面部提取动作单元，使用所述计算机从所述检测到的面部检测标志(landmark)，使用所述计算机跟踪所述检测到的标志，使用所述跟踪标志执行语义特征提取，使用所述计算机从所述音频信号检测音调特征，使用所述计算机转录所述音频信号以生成转录，使用所述计算机对所述转录执行自然语言处理，使用所述计算机对所述转录执行多模态分析，对所述转录执行语言结构提取，以及使用所述计算机使用所述多模态递归神经网络从所述检测到的面部检测所述疾病迹象、提取动作单元、跟踪标志、提取语义特征、音调特征、转录、自然语言处理的结果、语义分析的结果和语言结构提取的结果。

附图说明

当结合附图考虑时，通过参考以下详细描述，将容易获得对本发明及其许多附带方面的更完整理解，并且本发明及其许多附带方面变得更好理解，其中：

图1是示出根据本发明示例性实施例的用于在视频会议中实时标注面部症状的系统的示意图；

图2是示出根据本发明的示例性实施例的图1所示的系统的操作方式的流程图；