[发明专利]一种天气预报方法、系统、装置及可读存储介质

权利要求书

1.一种天气预报方法，其特征在于，包括：

获取当前位置与天气相关的多模态数据，所述多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据；

对所述多模态数据中的特征进行提取，得到多模态特征；

对所述多模态特征建立模型；

对所述模型进行分析，以得到与所述当前位置对应的天气预报结果；

所述多模态数据包括当前位置的图像数据和天气预报文本数据时；

对所述多模态数据中的特征进行提取，得到多模态特征之前，还包括：

将天气类别相同的多个所述图像数据和多个所述天气预报文本数据映射在同一特征空间中；

分别提取与多个所述图像数据对应的多个图像特征及与多个所述天气预报文本数据对应的多个文本特征，生成多个图像-文本特征对；

对多个所述图像-文本特征对进行训练，以使第i个图像特征与第i个文本特征的向量内积最少，进而得到图像特征提取模型及文本特征提取模型，i为正整数，且不大于所述图像数据或天气预报数据的个数；

对所述多模态数据中的特征进行提取，得到多模态特征，包括：

根据所述图像特征提取模型对所述图像数据中的特征进行提取，得到图像特征，以及根据文本特征提取模型对所述文本数据中的特征进行提取，得到文本特征。

2.如权利要求1所述的天气预报方法，其特征在于，获取当前位置与天气相关的多模态数据，包括：

获取设置于所述当前位置的摄像装置发送的图像数据和/或音频数据；

和/或，获取从国家天气预报中心获取到的所述当前位置所在区域的天气预报数据；

所述天气预报数据包括天气类别、温度、湿度、风力等级、能见度及空气质量中一种或多种的组合。

3.如权利要求2所述的天气预报方法，其特征在于，所述图像数据包括摄像装置拍摄的彩色图像及与运动图像，还包括：

通过频谱分析将所述音频数据转换为与所述彩色图像的大小相同的频谱图像。

4.如权利要求2所述的天气预报方法，其特征在于，获取当前位置与天气相关的多模态数据之前，还包括：

根据所述国家天气预报中心的信息及所述当前位置确定当前位置所在区域；

获取当前位置所在区域的多个所述摄像装置发送的所述图像数据及所述音频数据；

分别根据每个所述摄像装置发送的所述图像数据、所述音频数据使用预设天气类别判断算法得到与每个所述摄像装置发送的所述图像数据、所述音频数据对应的天气类别；

对所述摄像装置进行分组，每组中的所述摄像装置对应的天气类别相同；

将所述摄像装置数量最多的一组对应的图像数据、音频信息和文本信息作为所述多模态数据。

5.如权利要求4所述的天气预报方法，其特征在于，所述预设天气类别判断算法的确定方式为：获取预设数量的所述摄像装置发送的图像数据和音频数据；

分别为各个所述摄像装置发送的所述图像数据和所述音频数据标注对应的天气类别；

根据所述图像数据、所述音频数据及标注的所述天气类别进行深度学习训练，得到深度神经网络模型，并作为所述预设天气类别判断算法。

6.如权利要求1-5任一项所述的天气预报方法，其特征在于，对所述多模态特征建立模型，包括：

获取若干个设于不同位置的摄像装置发送的多个第一训练数据，对多个所述第一训练数据进行训练，以得到与天气相关的通用特征；

获取预设位置的摄像装置发送的第二训练数据，并对所述第二训练数据进行训练，以得到与所述预设位置对应的特定特征；所述第一训练数据及所述第二训练数据均包括所述图像数据、所述音频数据及所述天气预报文本数据中一种或多种的组合；

基于所述通用特征及所述特定特征建立模型。