[发明专利]数据标准化的方法、装置、设备及存储介质

说明书

本申请涉及大数据领域，揭示了数据标准化的方法，包括：获取第一数据项目和第二数据项目；将第一数据项目转换为字面表示对应的第一向量和含义表示对应的第二向量，将第二数据项目转换为字面表示对应的第三向量和含义表示对应的第四向量；计算第一向量和第三向量之间以及第二向量和第四向量之间的相似度；根据第一数据项目和第二数据项目之间的相似度的计算方式，计算待标准化的数据集中两两数据项目之间的相似度，得到字面表示对应的第一相似矩阵，以及含义表示对应的第二相似矩阵；将第一相似矩阵和第二相似矩阵加权融合，得到待标准化的数据集的相似度矩阵，对所述待标准化的数据集中数据项目进行标准化分类。提高数据标准化整合效率。

技术领域

本申请涉及大数据领域，特别是涉及到数据标准化的方法、装置、设备及存储介质。

背景技术

如今，随着医疗信息化的快速发展，越来越多的医疗数据以电子化的形式存储。然而不同的医疗系统有不同的数据规范，即对数据的表示方式不同，存在同一个医疗实体可由多个不同的表示名称，由于不同系统具有不同医疗实体名称表示的情况，为系统之间进行数据交换带来了问题。目前的主要方法是由人工对数据进行整理，将在不同系统中名称不同但是含义相同的医疗实体，关联到同一个标准化实体名称上，对数据进行统一。但是这种方式需要耗费大量的人力，且难以实现数据的全面整合，费时费力且效率效果比较差。

发明内容

本申请的主要目的为提供数据标准化的方法，旨在解决现不能实现不同系统下的医疗数据的全面、自动标准化的技术问题。

本申请提出一种数据标准化的方法，包括：

获取第一数据项目和第二数据项目，其中，所述第一数据项目和所述第二数据项目为待标准化的数据集中的任意两个数据项目；

将所述第一数据项目分别转换为字面表示对应的第一向量和含义表示对应的第二向量，将所述第二数据项目分别转换为字面表示对应的第三向量和含义表示对应的第四向量；

计算所述第一向量和所述第三向量之间的相似度，计算所述第二向量和所述第四向量之间的相似度；

根据所述第一数据项目和所述第二数据项目之间的相似度的计算方式，分别计算所述待标准化的数据集中两两数据项目之间的相似度，得到所述待标准化的数据集字面表示对应的第一相似矩阵，以及所述待标准化的数据集含义表示对应的第二相似矩阵；

将所述第一相似矩阵和所述第二相似矩阵加权融合，得到所述待标准化的数据集的相似度矩阵；

根据所述待标准化的数据集的相似度矩阵，对所述待标准化的数据集中数据项目进行标准化分类。

优选地，所述将所述第一数据项目分别转换为字面表示对应的第一向量和含义表示对应的第二向量的步骤，包括：

获取所述第一数据项目对应的n-gram表示方式，以及所述第一数据项目对应的项目类别；

根据所述第一数据项目对应的n-gram表示方式，构造所述第一向量；

在所述项目类别中捕获所述第一数据项目对应的上下文关系；

根据所述第一数据项目对应的上下文关系，构造所述第二向量。

优选地，所述根据所述第一数据项目对应的上下文关系，构造所述第二向量的步骤，包括：

将所述第一数据项目对应的项目类别中包含的所有数据项目组成数据项目集合；

在所述数据项目集合中以两两组合的方式，构造数据项目对；

将所述数据项目对输入第一神经网络，得到所述第二向量。

优选地，n-gram包括1-gram、2-gram和3-gram，所述根据所述第一数据项目对应的n-gram表示方式，构造所述第一向量的步骤，包括：