[发明专利]一种环境辨别方法、系统、设备及存储介质

权利要求书

1.一种环境辨别方法，其特征在于，应用于盲人导航领域，包括：

在采集到环境问题时，实时采集一预设时长的环境视频；

根据所述环境视频中每一帧的环境图像，处理得到环境图像特征，并提取所述环境问题的语义特征，处理得到问题文本特征；

将所述环境图像特征和所述问题文本特征进行加权融合，得到融合特征；

将所述融合特征作为环境辨别模型的输入，所述环境辨别模型根据所述融合特征，采用对应的激活函数和损失函数，处理得到预测答案并输出，作为环境辨别的结果；

其中，所述根据所述环境视频中每一帧的环境图像，处理得到环境图像特征的步骤包括：

根据所述环境视频中每一帧的环境图像，处理得到环境图像动态特征和环境图像静态特征；

采用如下公式将所述环境图像动态特征和所述环境图像静态特征进行拼接，以得到所述环境图像特征：

其中：

Z_concat为所述环境图像特征；

X_i为所述环境图像中第i帧的所述环境图像动态特征；

Y_i为所述环境图像中第i帧的所述环境图像静态特征；

K为拼接参数；

C为所述环境图像总的帧数；

所述将所述融合特征作为环境辨别模型的输入，所述环境辨别模型根据所述融合特征，采用对应的激活函数和损失函数，处理得到预测答案并输出，作为环境辨别的结果的步骤包括：

将所述融合特征输入至所述环境辨别模型；

所述环境辨别模型进行所述融合特征的判断；

根据判断的结果，所述环境辨别模型采用对应的激活函数和损失函数进行预测，得到所述预测答案并输出，作为环境辨别的结果；

所述根据判断的结果，所述环境辨别模型采用对应的激活函数和损失函数进行预测，得到所述预测答案并输出，作为环境辨别的结果的步骤包括：

当判断的结果为所述融合特征中包含多分类问题时，采用softmax激活函数和交叉熵损失函数进行预测，得到所述预测答案；

当判断的结果为所述融合特征中包含多标签问题时，采用sigmod激活函数和交叉熵损失函数进行预测，得到所述预测答案；

当判断的结果为所述融合特征中包含回归问题时，采用sigmod激活函数和MES损失函数进行预测，得到所述预测答案。

2.根据权利要求1所述的环境辨别方法，其特征在于，所述环境问题包括多分类问题、多标签问题和回归问题中的至少一种。

3.根据权利要求1所述的环境辨别方法，其特征在于，所述提取所述环境问题的语义特征，处理得到问题文本特征的步骤包括：

根据所述环境问题，处理得到问题文本特征向量；

提取所述问题文本特征向量的语义特征，作为所述问题文本特征。

4.根据权利要求1所述的环境辨别方法，其特征在于，所述将所述环境图像特征和所述问题文本特征进行加权融合，得到融合特征的步骤包括：

采用如下公式将所述环境图像特征和所述问题文本特征进行加权处理：

其中：

V为多帧环境图像中的环境图像特征；Q为问题文本特征；为加权后的所述问题文本特征；为加权后的所述环境图像特征；为所述环境图像的第i个子空间的问题文本特征；为所述环境图像的第i个子空间的环境图像特征；

将加权后的所述环境图像特征和所述问题文本特征分别连接至神经网络，并进行点乘处理，以实现融合，得到所述融合特征。