[发明专利]基于CR2

权利要求书

1.一种基于CR²神经网络的图像-文本双编码实现方法，其特征在于，所述基于CR²神经网络的图像-文本双编码实现方法包括：

步骤一，通过图像信息获取程序获取图像信息非语词表征的图像；

(1)采集预定区域内的多个图像信息，并同时采集图像对应的位置场景及时间信息；

(2)获取目标样例信息，将所述多个图像信息分别输入至已预先完成训练的匹配模型中，并将所述图像信息与目标样例信息匹配，得出图像信息与所述目标样例信息的匹配结果；

(3)采用训练过的多层卷积神经网络CNN分析预定区域内采集的图像信息，并获取所述图像对焦马达的位置改变量以及图像传感器的曝光改变量；

(4)连续以所述位置改变量改变所述对焦马达的位置，并同时连续以所述曝光改变量改变所述图像传感器的曝光值达到预设次数；

(5)存储每次改变后所获取的图像，将所述多个图像合成处理为最终图像，同时根据图像信息与所述目标样例信息的匹配结果得到与所述预设次数相同数量的图像信息非语词表征的图像；

步骤二，通过文本语义获取程序获取文本信息语词表征的文本语义编码；

(I)获取和文本信息语词表征的文本语义相关的自然语言文本，并进行文本的裁剪、生僻词替换、分词以及关键词处理；

(II)以已知长文本获取训练数据，提取该训练数据的训练特征以构建训练特征向量集，对该训练特征向量集进行无监督聚类，得到多个训练类心；

(III)通过文本处理模型以待评估长文本获取评估数据，提取该评估数据的评估特征向量，以Canopy聚类的结果作为初始聚簇划分，并且以被赋予更高权重的Canopy中心作为落在Canopy聚簇T2范围内的数据点集合的替代，参加K-Means迭代，实现过滤；通过一个完整的MapReduce任务完成每一次迭代，并自动识别文本和关键词的匹配度；第一次迭代时KMeansMapper从HDFS读取Canopy聚类结果，每次迭代都从HDFS读取上一次的K-Means聚类结果作为输入文件；在Canopy聚类阶段被做上强标记的数据点不参加距离函数计算；每个数据点经距离计算后加入距离最近的聚簇中心，并记录对聚簇产生的影响，用clusterObservation表示；NearestCluster方法是将本地机器上的数据点加入到距离最近的聚簇中去；

(IV)获取所述评估特征向量相对该训练类心的评估值，根据所述评估值及匹配度得到该待评估长文本的可信度和匹配度，进而获取所述文本语义编码；

步骤三，通过中央控制器控制图像-文本关联程序进行图像信息和文本语义编码信息的关联：1)针对图像和文本语义进行特征提取与表达，分别获得文本、图像两者单独模态下语义基元的特征向量空间；

2)以图像中的每个区域作为结点，以结点之间的多种关系作为边，通过RBF自增长神经网络构建图像-文本语义关联模型；

3)构建图上的学习算法，将图像级别对应的文本语义信息有效地传播到这些图像区域上去，形成大量表征客观世界的语义基本单元集合。

2.如权利要求1所述的基于CR²神经网络的图像-文本双编码实现方法，其特征在于，步骤一之前，需进行：步骤I，通过信息输入设备输入与信息相关的图像信息及文本信息；

步骤三之后，还需进行：

步骤1，通过性能测试设备利用测试程序对图像-文本双编码实现系统的性能进行测试；

步骤2，通过微型存储芯片输入的图像信息及文本信息、获取的图像信息非语词表征的图像及文本语义编码、关联后的图像-文本数据；

步骤3，通过显示器显示输入的图像信息及文本信息、获取的图像信息非语词表征的图像及文本语义编码、关联后的图像-文本数据。

3.如权利要求1所述的基于CR²神经网络的图像-文本双编码实现方法，其特征在于，步骤一中，所述步骤(2)的匹配模型通过以下训练步骤得到：

获取样本信息，该样本信息包括子样本信息；

以所述子样本信息为所述匹配模型的输入，基于所述子样本信息训练得到匹配参数；

基于所述匹配参数，以确定所述样本信息与所述目标样例信息的匹配结果为输出，训练得到所述匹配模型。