[发明专利]一种数据处理方法和装置

说明书

本发明公开了数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括通过外部存储器和外部存储器接口获取领域文件文本，生成文件文本集合，以将文件文本中的词添加到词列表中，计算每个词的权重，提取关键词，进而调用聚类引擎，计算得到类别主题，根据所述类别主题构建主题实体以形成主题子图谱；根据领域文件在数据库中的数据表，构建信息子图谱；调用外部存储器接口，获取预设的通用知识图谱，根据关键词生成概念子图谱；将主题子图谱、信息子图谱、概念子图谱进行融合，生成领域知识图谱并通过系统接口输出。从而，本发明的实施方式能够解决现有领域知识图谱构建效率低、成本高的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

领域知识图谱服务对象是领域相关人员，具有很强的针对性和专业性，在图谱质量方面的要求较高。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

与通用知识图谱不同，领域知识图谱因为使用价值高，构建成本高，需要定制化，很少领域有开源的领域知识图谱，一般都依赖于使用者自行构建，缺乏统一构建方法。目前领域知识图谱的自动构建大多数基于结构化数据库，根据数据库现有的数据批量产生实体和实体间关系。对于数据库外的非结构化知识，则重度依赖专家参与，进行规则梳理和手动添加等工作，易出错漏，效率较低，成本较高。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够解决现有领域知识图谱构建效率低、成本高的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，应用于包括处理器的计算平台中，包括：通过外部存储器和外部存储器接口获取领域文件文本，生成文件文本集合，以将文件文本中的词添加到词列表中，计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，进而调用聚类引擎，计算得到类别主题，根据所述类别主题构建主题实体以形成主题子图谱；根据领域文件在已有数据库中的数据表，通过查询语言抽取结构化数据，构建信息子图谱；调用外部存储器接口，获取预设的通用知识图谱，根据所述关键词从中抽取相关实体及所述实体对应的上下位关系数据，生成概念子图谱；将所述的主题子图谱、所述信息子图谱以及所述概念子图谱进行融合，生成领域知识图谱并通过系统接口输出，以供不同角色用户查阅和获取相应数据。

可选地，将文件文本中的词添加到词列表中，计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，进而调用聚类引擎，计算得到类别主题，根据所述类别主题构建主题实体以形成主题子图谱，包括：

获取文件文本，将文件文本中的词添加到词列表中并去重，调用统计引擎计算每个词的权重并从大到小排序，根据所述排序提取预设数量的词作为关键词，将词列表权重向量作为关键词的文本特征向量；

调用聚类引擎，采用无监督聚类算法，对文件文本进行聚类，以从每个聚类中的各个文本特征向量为依据，提取每个聚类的主题词；

对各个聚类后的文件文本再聚类，以从子类别中的各个文本特征向量为依据，获取二级主题词；

创建文件实体和二级主题实体，进而构建二级主题实体到文件实体的包含关系；

创建一级主题实体，进而构建一级主题实体到二级主题实体的包含关系；

将文件实体、二级主题实体以及一级主题实体，二级主题实体到文件实体的包含关系和一级主题实体到二级主题实体的包含关系转换为图数据库要求的格式，存入图数据库；通过图数据库操作语言进行图谱的节点和逻辑的整体校验，得到主题子图谱。

可选地，根据领域文件在已有数据库中的数据表，通过查询语言抽取的结构化数据，构建信息子图谱，包括：

获取领域文件在已有数据库中的数据表，通过查询语言抽取相应数据；