[发明专利]基于输血大数据的多维度智能数据清洗方法及系统

说明书

本发明公开了基于输血大数据的多维度智能数据清洗方法及系统，主要通过数据抽取、清洗修补和聚类，达到对原始输血数据梳理的目的，本发明主要提供如下技术方案：获取患者的唯一标识和治疗数据，治疗数据包括该患者的输血数据；根据唯一标识清洗治疗数据，得到目标数据；输出目标数据,并获取修正规则及聚类规则；根据修正规则修正目标数据；根据聚类规则对修正后的目标数据中的文本数据进行聚类，得到最终数据。本方法主要用于输血数据的处理。

技术领域

本发明涉及医疗数据处理领域，尤其涉及基于输血大数据的多维度智能数据清洗方法及系统。

背景技术

随着医疗系统和物联网的快速发展，医疗大数据分析对患者就医过程有着越来越高的指导意义，其中，对于输血大数据的研究与使用，能够实现对血液供应的高效管理，提高患者输血的安全性。

由于患者就医信息分散在各个系统中，输血数据有来源分散、重复性强和数据杂乱不准确的特点，对输血数据进行预处理，去除错误数据，梳理杂乱数据，形成规则统一的完整数据，对治疗过程业务的决策提供分析依据，为后续的对输血大数据的进一步挖掘使用打下基础。

发明内容

有鉴于此，本发明实施例提供基于输血大数据的多维度智能数据清洗方法及系统，主要通过数据抽取、清洗修补和聚类，达到对原始输血数据梳理的目的，为输血数据进一步分析和使用提供完整规则的预处理数据。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了基于输血大数据的多维度智能数据清洗方法，包括：

获取患者的唯一标识和治疗数据，治疗数据包括该患者的输血数据；

根据唯一标识清洗治疗数据，得到目标数据；

输出目标数据,并获取修正规则及聚类规则；

根据修正规则修正目标数据；

根据聚类规则对修正后的目标数据中的文本数据进行聚类，得到最终数据。

优选的，获取患者的治疗数据的具体方法为：

确定数据库；

定义数据抽取规则并形成数据表；

根据数据抽取规则由数据库中抽取源数据并映射到数据表中，得到治疗数据。

优选的，根据数据抽取规则由数据库中抽取源数据并映射到数据表中之后，还包括：

对数据表中字段进行特征衍生。

优选的，根据唯一标识清洗治疗数据具体包括：

提取治疗数据中不规则数据进行规则化替换，生成结构数据；

根据唯一标识，合并结构数据中相同唯一标识数据，删除唯一标识下重复数据。

优选的，输出目标数据具体包括：

输出目标数据中各字段中数据缺失情况；

输出目标数据中各字段中数据分布情况。

优选的，输出目标数据中各字段中数据缺失情况具体包括：

提取目标数据中各字段的数据个数；

绘制字段-数据个数条形图，做可视输出。

优选的，输出目标数据中各字段中数据分布情况具体包括：

将各字段对应值进行等额分组，计算每组的数值频率；

绘制数值-频率直方图；

连接各组数值直方图中值对应的点构成光滑的曲线，做可视输出。