[发明专利]基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法

摘要

本发明是一种基于数据图谱、信息图谱、知识图谱架构的图像数据目标识别增强方法。主要用于解决现有图像识别方法无法识别训练集中未标注类别的图像识别问题，属于分布式计算和软件工程学技术交叉领域。关键在于从已有的基于深度学习方法的图像类型识别结果出发，根据已有图像资源构建三层图谱，将未识别的图像类别在数据图谱进行特征匹配得到初始匹配结果，将已识别的图像类别在信息图谱上进行关系匹配得到中间匹配结果，最后在知识图谱中进行间接交互关系匹配，计算中间匹配结果的可信度并排序，推荐给用户可信度最高的匹配图像类别。

主权项

1.一种基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法，其特征在于，引入数据图谱、信息图谱、知识图谱架构对未标识图像进行推理，实现自动智能的识别出图片中或者摄像机所拍摄到的图像，将图像的结构，特征，频度以及交互关系，语义关系放在数据图谱、信息图谱和知识图谱中，借助于这个架构给出可信度最高的识别结果，该方法包括：步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；步骤2）获取待识别图像；步骤3）将待识别图像分割成已识别图像集{B_i}和未识别图像A两个模块；步骤4）将基于步骤3）获得的未识别图像A与数据图谱的实体A_i进行数据匹配，由公式1得到匹配度R(A_i)；假设数据图谱中实体属性与Ai匹配值为μ(α)，α表示A_i可以与未识别图像匹配的一个属性，x表示所有可以匹配的属性，其中实体属性包括结构，颜色，特征，频度，局部结构；（1）；步骤5）根据经验设定一个初始值n，按照R(A_i)从大到小的顺序选出A₁、A₂、… A_n；步骤6）将A₁、A₂、… A_n作为初始匹配结果；步骤7）基于步骤6）获得的初始匹配结果，结合步骤3）获得的未识别图像集{B}对信息图谱进行遍历，找到所对应的交互关系， 由公式2、公式3得到A₁、A₂、… A_n和{B}的关系匹配度Y(A₁)、Y(A₂)…Y(A_n)，Y(A_i,B_i)为中间变量；假设信息图谱中B_i与A_i之间的交互关系p的匹配度为θ(π)，其中π表示一条交互关系，q表示所有关系：（2）；（3）；步骤8)由公式4得到中间匹配度X（A₁）、X(A₂)…X(A_n)，其中R(A_i)和Y(A_i)是相互独立的，且r₁+r₂=1，（4）；步骤9）根据经验设定一个初始值k，其中k<=n，按照X(A_i)从大到小的顺序选出A₁、A₂、… A_k；步骤10）基于步骤8）获得的中间匹配结果A₁、A₂、… A_k，在知识图谱中通过推理可以得到{B}和A₁、A₂、… A_k的间接交互关系，得到的新关系的正确度Cr可以由公式5得出；实体1和实体2之间的新关系可以表示为Cr(E₁,E₂)，z表示所有新的间接交互关系，表示新关系匹配度，E₁→E₂表示实体1和实体2之间的一个间接关系，当正确度超过一个阈值时认为实体1和实体2之间的新关系成立：（5）；步骤11）若关系成立，计算可信度Confidence，其中Cr(E₁,E₂)和信息图谱中的交互关系是相互独立的，且y₁+y₂=1, 由公式6得：（6）；步骤12）比较可信度的大小，可信度最大的图像实体就是识别的最终结果。