[发明专利]基于感知多模态大数据的高效查询方法

说明书

本发明的一种基于感知多模态大数据的高效查询方法，包括以下步骤，步骤一：采集图像模态数据集，对图像滤波并生成点云数据；步骤二：根据步骤一中的点云数据下的图像深度值，获得点云数据下的所有点的特征值；步骤三：异步采集文本模态数据集，对文本进行特征提取；步骤四：利用CAA算法，建立图像特征‑文本特征的训练表；步骤五：随机对训练表中数据进行分类成训练集数据库和测试集数据库，将训练集数据库和测试集数据库中数据进行迁移学习；步骤六：根据迁移学习建立查询模型并上传云端，后续查询图形或者文字输入查询模型，由查询模型判别后续图形或者文字的特征，根据判别后的特征在互联网上查询。该方法可以根据检测数据对后续数据进行推测。

技术领域

本发明涉及数据查询领域，具体涉及基于感知多模态大数据的高效查询方法。

背景技术

所谓“模态”，英文是modality，用通俗的话说，就是“感官”，多模态即将多种感官融合。Turing OS机器人操作系统将机器人与人的交互模式定义为“多模态交互”，即通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。这一交互方式符合机器人类产品的形态特点和用户期待，打破了传统PC式的键盘输入和智能手机的点触式交互模式。

在水源管理领域，通常是通过自动化的控制，有视频监控、深度落差检测、水质检测等，无论是视频监控还是深度落差检测等，都会生成一个图像集合或者一个文本集合。

现有对这些图像集合或者文本集合的处理方式为，通过人观察、或者设置最高值报警，无法做到根据现有数据，对其他相同区域的检测数据的合理性进行一个判断。

发明内容

为了克服现有技术中的不足，本发明提出的基于感知多模态大数据的高效查询方法，其可以根据检测数据对后续数据进行推测。

为了实现上述目的，本发明的一种基于感知多模态大数据的高效查询方法，包括以下步骤，步骤一：采集图像模态数据集，对图像滤波并生成点云数据；

步骤二：根据步骤一中的点云数据下的图像深度值，获得点云数据下的所有点的特征值；步骤三：异步采集文本模态数据集，使用CountVectorizer对文本进行特征提取；步骤四：利用CAA算法，建立图像特征-文本特征的训练表；步骤五：随机对训练表中数据进行分类，产生训练集数据库和测试集数据库，将训练集数据库和测试集数据库中数据进行迁移学习；步骤六：根据迁移学习建立查询模型并上传云端，后续查询图形或者文字输入查询模型，由查询模型判别后续图形或者文字的特征，根据判别后的特征在互联网上查询。

进一步地，步骤一中采用方差法进行滤波，公式如下：

其中，ω₀是背景点数占图像比例，u₀是图像的背景点数的平均灰度，u是图像的总平均灰度；g是图像的方差。

进一步地，步骤二中采用阈值法获得图像深度值，公式如下：

p(x，y)＝p(x，y)dis≤p(x，y)≤dis*2h，

其中，p(x，y)为图像深度，dis是图像的高度，h是滤波后图形的高度。

步骤二中，收集图像深度形成点云数据，采用PCL对点云数据进行处理，获得图像深度的特征值。

进一步地，步骤三中，CountVectorizer的特征选取频率公式如下：

其中，IDF是特征选取概率，m是点云数据的数量，g是特征值的数量。

进一步地，所述训练集数据库和测试集数据库的比例为1:2。