[发明专利]基于知识图谱的数据处理方法、装置、设备及存储介质

说明书

本发明涉及计算机技术领域，公开了基于知识图谱的数据处理方法、装置、设备及存储介质，获取原始数据，并对所述原始数据进行预处理，形成训练数据集、验证数据集和测试数据集；对所述训练数据集进行训练，构建样本特征模型；采用所述验证数据集对所述样本特征模型的有效性进行验证；采用所述测试数据集对验证后的所述样本特征模型进行数据预测，并根据所述数据预测的测试结果对所述样本特征模型进行评估；根据所述样本特征模型的评估结果进行模型调优，得到数据特征模型；将待处理数据输入所述数据特征模型中，得到结果数据，并根据所述结果数据构建知识图谱，将所述知识图谱可视化输出至用户的Web端；本发明提高了数据处理效率和准确率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于知识图谱的数据处理方法、装置、设备及存储介质。

背景技术

近年来，随着移动互联、大数据、云计算等现代信息技术的发展，企业面临着海量的大数据，目前基于人工智能的分析技术主要是从机器学习方面开展的大数据分析技术研究，分为大数据聚类、大数据关联分析、大数据分类和大数据预测几类技术，通过大量数据的训练，机器学习能够总结出事件之间的相关性；虽然人工智能技术是大数据分析的利器，但面临大数据问题时，数据处理的的难度进一步加大，无法对数据进行全面地、综合地分析，且无法，满足数据关联性的处理需求，因此无法提取出有效的、辅助的信息，降低了数据的价值。

发明内容

有鉴于此，有必要针对数据处理的的难度进一步加大的问题，提供一种基于知识图谱的数据处理方法、装置、设备及存储介质。

一种基于知识图谱的数据处理方法，包括以下步骤：获取原始数据，并对所述原始数据进行预处理，形成训练数据集、验证数据集和测试数据集，所述预处理至少包括标准化处理、数据清洗处理和/或数据噪声处理；对所述训练数据集进行训练，构建样本特征模型；采用所述验证数据集对所述样本特征模型的有效性进行验证；采用所述测试数据集对验证后的所述样本特征模型进行数据预测，并根据所述数据预测的测试结果对所述样本特征模型进行评估；根据所述样本特征模型的评估结果进行模型调优，得到数据特征模型；将待处理数据输入所述数据特征模型中，得到结果数据，并根据所述结果数据构建知识图谱，将所述知识图谱可视化输出至用户的Web端。

在其中一个实施例中，从数据库中提取结果数据，并对所述结果数据进行集成、转换处理，得到待解析数据；基于动态本体模型构建知识图谱，所述知识图谱是用于构建数据实体、实体属性及实体关系的知识体系，知识图谱的节点为数据处理的关键概念，节点之间由一个或多个关系建立的通路称为路径；根据所述知识图谱采用可视化方法进行数据处理，得到数据处理有效的数据结论；对得到的所述数据处理有效的数据结论采用知识树、图谱等多种形式展示；通过自动更新方式输入新数据，对知识图谱进行增量式的动态更新。

在其中一个实施例中，获取所述待解析数据，并对所述待解析数据进行解析，得到语义信息，根据对象、关系、属性的定义，构建动态本体模型，抽取实体之间的关系；基于所述动态本体模型，构建知识图谱，所述知识图谱用于对所述结果数据进行分析。

在其中一个实施例中，对所述语义信息进行信息抽取处理，所述信息抽取过程包括实体抽取、关系抽取、属性抽取；对信息抽取处理后的所述语义信息利用所述动态本体模型进行知识融合和知识加工，获取知识图谱。

在其中一个实施例中，可视化展示数据处理的分析路径和推导过程。

在其中一个实施例中，提取所述训练数据集中训练样本；对所述训练数据集中训练样本进行特征识别，得到目标特征集合和属性特征集合，并根据所述目标特征集合和所述属性特征集合，对所述训练数据集中训练样本进行特征标签的标注；获取预设的机器学习模型，根据与所述目标特征集合和所述属性特征集合中对应的特征向量，对所述预设的机器学习模型进行训练，得到样本特征模型。