[发明专利]基于感知多模态大数据的高效查询方法

权利要求书

1.一种基于感知多模态大数据的高效查询方法，包括以下步骤，

步骤一：采集图像模态数据集，对图像滤波并生成点云数据；

步骤二：根据步骤一中的点云数据下的图像深度值，获得点云数据下的所有点的特征值；

步骤三：异步采集文本模态数据集，使用CountVectorizer对文本进行特征提取；

步骤四：利用CAA算法，建立图像特征-文本特征的训练表；

步骤五：随机对训练表中数据进行分类，产生训练集数据库和测试集数据库，将训练集数据库和测试集数据库中数据进行迁移学习；

步骤六：根据迁移学习建立查询模型并上传云端，后续查询图形或者文字输入查询模型，由查询模型判别后续图形或者文字的特征，根据判别后的特征在互联网上查询。

2.根据权利要求1所述的基于感知多模态大数据的高效查询方法，其特征在于，步骤一中采用方差法进行滤波，公式如下：

其中，ω₀是背景点数占图像比例，u₀是图像的背景点数的平均灰度，u是图像的总平均灰度；g是图像的方差。

3.根据权利要求2所述的基于感知多模态大数据的高效查询方法，其特征在于，步骤二中采用阈值法获得图像深度值，公式如下：

p(x，y)＝p(x，y)dis≤p(x，y)≤dis*2h，

其中，p(x，y)为图像深度，dis是图像的高度，h是滤波后图形的高度。

4.根据权利要求3所述的基于感知多模态大数据的高效查询方法，其特征在于，步骤二中，收集图像深度形成点云数据，采用PCL对点云数据进行处理，获得图像深度的特征值。

5.根据权利要求3所述的基于感知多模态大数据的高效查询方法，其特征在于，步骤三中，CountVectorizer的特征选取频率公式如下：

其中，IDF是特征选取概率，m是点云数据的数量，g是特征值的数量。

6.根据权利要求3所述的基于感知多模态大数据的高效查询方法，其特征在于，所述训练集数据库和测试集数据库的比例为1:2。