[发明专利]智能问诊的方法、装置、计算机设备及存储介质

权利要求书

1.一种智能问诊的方法，其特征在于，所述方法包括：

获取用于描述用户的病症的语音数据，将所述用户的病症的语音数据转换为梅尔频谱，通过语音语义识别网络对所述语音数据进行特征提取，得到病症语音特征的步骤具体包括：通过所述语音语义识别网络对所述梅尔频谱进行特征提取，得到病症语音特征；

获取拍摄有所述用户的病症的图像，通过图像语义提取网络对所述图像进行特征提取，得到病症图像特征；

获取拍摄有所述用户的病症的视频，通过视频语义提取网络对所述视频进行特征提取，得到病症视频特征；

将所述病症语音特征、所述病症图像特征和所述病症视频特征进行堆叠融合，得到融合特征的步骤包括：

通过merge函数将所述病症语音特征、所述病症图像特征和所述病症视频特征进行堆叠融合，得到所述融合特征；

将所述融合特征输入至预先训练好的疾病预测模型的分类器，得到所述用户所患疾病的最终预测结果。

2.根据权利要求1所述的智能问诊的方法，其特征在于，在所述通过merge函数将所述病症语音特征、所述病症图像特征和所述病症视频特征进行堆叠融合，得到所述融合特征的步骤之前，所述方法还包括：

对所述病症语音特征进行升维处理；

对所述病症图像特征和所述病症视频特征进行降维处理，使得所述病症图像特征和所述病症视频特征的维度均与所述病症语音特征的维度相同。

3.根据权利要求1所述的智能问诊的方法，其特征在于，训练所述疾病预测模型的步骤包括：

获取同一确诊用户的样本语音、拍摄有所述确诊用户的病症的样本图像和样本视频，作为训练样本，所述样本语音用于描述所述确诊用户的病症；

将所述确诊用户的确诊疾病作为待训练的所述疾病预测模型的输出目标，通过所述训练样本对所述待训练的疾病预测模型进行训练；

当所述待训练的疾病预测模型对所述训练样本的输出结果与所述确诊用户的确诊疾病相同时，得到训练好的疾病预测模型。

4.根据权利要求1所述的智能问诊的方法，其特征在于，在所述得到所述用户所患疾病的最终预测结果的步骤之后，所述方法还包括：

获取与所述最终预测结果对应保存的注意事项；

显示所述注意事项。

5.根据权利要求1所述的智能问诊的方法，其特征在于，在所述得到所述用户所患疾病的最终预测结果的步骤之后，所述方法还包括：

获取与所述最终预测结果对应保存的诊疗方案；

显示所述诊疗方案。

6.一种智能问诊的装置，其特征在于，所述装置包括：

语音特征提取模块，用于获取用于描述用户的病症的语音数据，将所述用户的病症的语音数据转换为梅尔频谱，通过语音语义识别网络对所述语音数据进行特征提取，得到病症语音特征的步骤具体包括：通过所述语音语义识别网络对所述梅尔频谱进行特征提取，得到病症语音特征；

图像特征提取模块，用于获取拍摄有所述用户的病症的图像，通过图像语义提取网络对所述图像进行特征提取，得到病症图像特征；

视频特征提取模块，用于获取拍摄有所述用户的病症的视频，通过视频语义提取网络对所述视频进行特征提取，得到病症视频特征；

融合模块，用于将所述病症语音特征、所述病症图像特征和所述病症视频特征进行堆叠融合，得到融合特征的步骤包括：

通过merge函数将所述病症语音特征、所述病症图像特征和所述病症视频特征进行堆叠融合，得到所述融合特征；预测模块，用于将所述融合特征输入至预先训练好的疾病预测模型的分类器，得到所述用户所患疾病的最终预测结果。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述智能问诊的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述智能问诊的方法的步骤。