[发明专利]数据采集过程中的数据处理方法、装置、终端设备及介质

说明书

本发明公开了一种数据采集过程中的数据处理方法、装置、终端设备及介质，通过调用基于计算医疗数据的字段间信息熵增长率进行训练得到的无监督学习模型；从而根据该无监督学习模型和预设的信息熵增长率可信阈值确定可信依据；再然后，遍历数据采集过程中的待纠错数据得到验证参数；并根据该可信依据和该验证参数确定该待纠错数据是否存在错误字段；最后，在判定为是时根据该可信依据对错误字段进行纠错。采用本发明能够在医疗数据的采集阶段，自动的判别数据是否存在错误和针对错误数据进行纠错处理。

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据采集过程中的数据处理方法、装置、终端设备以及计算机可读存储介质。

背景技术

随着医疗信息系统被越来越广泛地使用，医疗健康大数据的应用成为了行业热点。而在医疗健康大数据的应用中，数据本身的质量则是应用的关键问题之一，因为质量较差的数据对机器学习算法有很大影响，例如，质量较差的数据会极大的影响机器学习算法进行数据预测的准确性。所以，如何确保在数据采集阶段就获得真实准确的高质量医疗数据，就成为了行业内不可规避的研究方向。

目前，行业内主流的解决方案是在数据采集阶段设置大量规则对医疗数据进行校正和提示，如根据身份证号对性别、生日等数据进行纠正和补全。然而这种方式不仅需要对大量规则进行人工维护，而且还不能解决一些偶发的问题。此外，现有技术中也有引入机器学习来进行数据校正的手段，但现有的这种方式也需要进行大量人工标注，从而在具体实施中存在不小的困难，尤其是对于使用者也增添了不小的负担。

综上，现有在数据采集阶段对数据进行校准和提示的方式，在具体实施过程中需要耗费大量的人力资源，从而导致数据采集的整体效率低下。

发明内容

本发明的主要目的在于提供一种数据采集过程中的数据处理方法、装置、终端设备以及计算机可读存储介质。旨在实现在医疗数据的采集阶段，自动的判别数据是否存在错误和针对错误数据进行纠错处理，从而有效地避免传统方式中需要人工维护规则或者进行数据标注带来的大量人力资源浪费，进而在确保所采集数据真实准确的前提下，提高了数据采集的整体效率。

为了实现上述目的，本发明提供一种数据采集过程中的数据处理方法，所述数据采集过程中的数据处理方法包括：

调用预设的无监督学习模型，其中，所述无监督学习模型基于计算医疗数据的字段间信息熵增长率进行训练得到；

根据所述无监督学习模型和预设的信息熵增长率可信阈值确定可信依据；

遍历数据采集过程中的待纠错数据得到验证参数；

根据所述可信依据和所述验证参数确定所述待纠错数据是否存在错误字段；

在判定为是时，根据所述可信依据对所述错误字段进行纠错。

可选地，所述数据处理方法还包括：

获取预设的医疗数据训练集；

根据所述医疗数据训练集计算医疗数据的字段间信息熵增长率；

将所述医疗数据训练集作为参考数据集，并将所述参考数据集和基于所述字段间信息熵增长率得到的信息熵增长率矩阵保存为无监督学习模型。

可选地，所述字段间信息熵增长率为所述医疗数据训练集中第一字段和第二字段之间的信息熵增长率；

所述根据所述医疗数据训练集计算医疗数据的字段间信息熵增长率的步骤，包括：

计算所述医疗数据训练集中所述第一字段的第一信息熵；

根据所述第一信息熵确定所述第一字段是否存在多种值，并在确定所述第一字段存在多种值时，计算所述医疗数据训练集中所述第二字段的第二信息熵；