[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，应用于包括处理器的计算平台中，包括：

通过外部存储器和外部存储器接口获取领域文件文本，生成文件文本集合，以将文件文本中的词添加到词列表中，计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，进而调用聚类引擎，计算得到类别主题，根据所述类别主题构建主题实体以形成主题子图谱；

根据领域文件在已有数据库中的数据表，通过查询语言抽取结构化数据，构建信息子图谱；

调用外部存储器接口，获取预设的通用知识图谱，根据所述关键词从中抽取相关实体及所述实体对应的上下位关系数据，生成概念子图谱；

将所述的主题子图谱、所述信息子图谱以及所述概念子图谱进行融合，生成领域知识图谱并通过系统接口输出，以供不同角色用户查阅和获取相应数据。

2.根据权利要求1所述的方法，其特征在于，将文件文本中的词添加到词列表中，计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，进而调用聚类引擎，计算得到类别主题，根据所述类别主题构建主题实体以形成主题子图谱，包括：

获取文件文本，将文件文本中的词添加到词列表中并去重，调用统计引擎计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，将词列表权重向量作为关键词的文本特征向量；

调用聚类引擎，采用无监督聚类算法，对文件文本进行聚类，以从每个聚类中的各个文本特征向量为依据，提取每个聚类的主题词；

对各个聚类后的文件文本再聚类，以从子类别中的各个文本特征向量为依据，获取二级主题词；

创建文件实体和二级主题实体，进而构建二级主题实体到文件实体的包含关系；

创建一级主题实体，进而构建一级主题实体到二级主题实体的包含关系；

将文件实体、二级主题实体以及一级主题实体，二级主题实体到文件实体的包含关系和一级主题实体到二级主题实体的包含关系转换为图数据库要求的格式，存入图数据库；通过图数据库操作语言进行图谱的节点和逻辑的整体校验，得到主题子图谱。

3.根据权利要求1所述的方法，其特征在于，根据领域文件在已有数据库中的数据表，通过查询语言抽取的结构化数据，构建信息子图谱，包括：

获取领域文件在已有数据库中的数据表，通过查询语言抽取相应数据；

调用预设的图谱数据模型，将所述数据转化为符合图数据库要求的格式，再通过图数据库操作语言进行校验以删除孤立节点，生成信息子图谱。

4.根据权利要求3所述的方法，其特征在于，调用预设的图谱数据模型，将所述数据转化为符合图数据库要求的格式，包括：

定义图谱数据模型，所述图谱数据模型包括实体和实体间的关系类型；

将抽出得到的数据所属的类表的主键列作为实体列，所述实体列中的每一元素对应一个实体；将所属类的其它表中具有所述实体的列也标记为实体列，其它列标记为属性列；其中，所述属性列中的每一个值为对应实体的一个属性，列名称作为属性名。

5.根据权利要求1所述的方法，其特征在于，调用外部存储器接口，获取预设的通用知识图谱，根据所述关键词从中抽取相关实体及所述实体对应的上下位关系数据，生成概念子图谱，包括：

获取文件文本，将文件文本中的词添加到词列表中并去重，调用统计引擎计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，创建文件实体，将所述关键词作为所述文件实体的属性；

根据领域术语、词典以及所述关键词，对所述文件实体进行合并去重得到领域概念实体待选集合；

以领域概念实体待选集合为搜索对象，获取开源通用知识图谱中相关实体及所述实体对应的上下位关系数据，生成概念子图谱。

6.根据权利要求5所述的方法，其特征在于，获取开源通用知识图谱中相关实体及所述实体对应的上下位关系数据，包括：

获取开源通用知识图谱的离线数据包，以领域概念实体待选集合为搜索对象搜索相关实体及所述实体对应的上下位关系数据；或者

通过调用通用知识图谱提供的API接口，以领域概念实体待选集合为搜索对象搜索相关实体及所述实体对应的上下位关系数据。