[发明专利]用于挖掘数据的方法和装置

说明书

本公开实施例公开了用于挖掘数据的方法和装置。该方法的一具体实施方式包括：对获取的医疗知识页面对应的HTML文件进行解析，得到文档对象模型树，其中，上述文档对象模型树包括至少一个树节点；基于预先设定的第一标签属性，从上述至少一个树节点中确定树节点组成树节点集合；基于预先设定的第二标签属性，将上述树节点集合划分为至少一个树节点子集合；对于上述至少一个树节点子集合中的树节点子集合，获取该树节点子集合中树节点的数据，以及使用所获取的数据生成重构节点数据；基于得到的至少一个重构节点数据，构建针对上述医疗知识页面的内容树。该实施方式实现了对医疗知识的挖掘。

技术领域

本公开实施例涉及计算机技术领域，具体涉及用于挖掘数据的方法和装置。

背景技术

构建一个权威、准确、全面的医疗行业知识图谱是许多上层应用的基础数据需求，比较出名的一个应用就是临床决策支持系统(Clinical Decision Support System，CDSS)。权威医疗书籍中的医疗知识是人们总结以及论证过的智慧结晶，将医疗书籍中的医疗知识挖掘出来，形成实体化的数据格式，是建立医疗知识图谱的重要组成部分。现有的医疗知识挖掘方法通常是从HTML(Hyper Text Markup Language，超级文本标记语言)电子书中人工整理或者通过程序直接从HTML页面中提取医疗知识文本后进一步人工审核。然后从医疗知识文本中识别医疗实体，识别医疗实体的属性等等。

发明内容

本公开实施例提出了用于挖掘数据的方法和装置。

第一方面，本公开实施例提供了一种用于挖掘数据的方法，该方法包括：对获取的医疗知识页面对应的HTML文件进行解析，得到文档对象模型树，其中，上述文档对象模型树包括至少一个树节点；基于预先设定的第一标签属性，从上述至少一个树节点中确定树节点组成树节点集合；基于预先设定的第二标签属性，将上述树节点集合划分为至少一个树节点子集合；对于上述至少一个树节点子集合中的树节点子集合，获取该树节点子集合中树节点的数据，以及使用所获取的数据生成重构节点数据；基于得到的至少一个重构节点数据，构建针对上述医疗知识页面的内容树。

在一些实施例中，上述方法还包括：基于上述内容树，生成由医疗实体、属性和属性值组成的三元组。

在一些实施例中，上述基于上述内容树，生成由医疗实体、属性和属性值组成的三元组，包括：依次遍历上述内容树的节点，对所遍历的当前节点执行以下判断步骤：响应于确定当前节点包括子节点，确定当前节点的子节点中的数据是否与预先设定的属性集合中的属性相匹配；如果匹配，确定当前节点描述的对象为医疗实体，当前节点的子节点描述的对象为上述医疗实体的属性和属性值；获取当前节点和当前节点的子节点中的数据生成包括医疗实体、属性和属性值的三元组。

在一些实施例中，上述方法还包括：对于所获取的三元组，执行以下操作中的至少一项，确定该三元组中医疗实体的类别：基于该三元组中的属性确定该三元组中医疗实体的类别；基于预先设定的医疗实体类别列表，确定该三元组中医疗实体的类别；基于命名实体识别结果，确定该三元组中医疗实体的类别。

在一些实施例中，上述方法还包括：从上述内容树中识别出疾病类医疗实体和与疾病类医疗实体相关的属性，以及将与疾病类医疗实体相关的属性作为第一属性；基于预先存储的第一属性和第二属性的对应关系，从第一属性中确定第二属性词条。

在一些实施例中，上述基于得到的至少一个重构节点数据，构建针对上述医疗知识页面的内容树，包括：创建根节点，其中，上述根节点的父节点为空；以上述根节点为当前节点，执行以下构建步骤：针对上述至少一个重构节点数据中未插入的一个重构节点数据，从当前节点开始向上遍历，基于预先设定的第三标签属性，确定与该重构节点数据对应的节点存在父子关系的目标节点；将上述目标节点标记为父节点；将该重构节点数据对应的节点插入到上述目标节点的子节点位置；以最新插入的节点为当前节点，继续执行上述构建步骤，直至上述至少一个重构节点数据中的重构节点数据全部被插入，得到上述医疗知识页面对应的内容树。