[发明专利]文本数据采集方法、装置、存储设备及终端

权利要求书

1.文本数据采集方法，其特征在于：包括：

S10、根据预先制定的数据采集规范，部署Web Service接口程序；

S20、通过Web Service接口模块接收文本数据；

S30、对接收到的文本数据进行预处理，以使所述文本数据符合预先制定的数据采集规范；

S40、采用多层检查机制，对经过预处理后的文本数据进行逐层筛选，最终得到合格的文本数据；

S50、将所述合格的文本数据，存入标准数据库中。

2.根据权利要求1所述的文本数据采集方法，其特征在于：步骤S30中，所述对接收到的文本数据进行预处理，以使所述文本数据符合预先制定的数据采集规范，具体包括：

S301、提取出所述文本数据中包含的所有属性；

S302、将每一项所述属性一一定义成对应的一组元素集，所述元素集中的元素包括下列元素中的一个或多个：字段名称、数据值、数据类型、字段长度限制、该数据项是否为必填项以及其他未标注出的信息；

S303、根据数据采集规范，将具有唯一性的至少一项属性设定为主键属性。

3.根据权利要求2所述的文本数据采集方法，其特征在于：步骤S40中，采用多层检查机制，对经过预处理后的文本数据进行逐层筛选，最终得到合格的文本数据，具体包括：

S401、对所述文本数据的所有属性进行逐一检查，判断所有要求必填的属性元素集中的数据值是否均有值，若是，则执行步骤S402，否则，将所述文本数据认定为不合格的文本数据，并进行删除，结束；

S402、将所述文本数据的主键属性元素集中的数据值，分别与标准数据库中存储的所有文本数据的主键属性元素集中的数据值一一进行比较，若出现具有重复主键属性数据值的目标文本数据，则执行步骤S403，若最终没有出现所述的目标文本数据，则执行步骤S406；

S403、将所述文本数据的非主键属性元素集中的数据值，分别一一对应地与所述目标文本数据的非主键属性元素集中的数据值进行比较，若所述文本数据和所述目标文本数据的某一对应的非主键属性数据值不一致，则执行步骤S404，若所述文本数据和所述目标文本数据的所有对应的非主键属性数据值均一致，则执行步骤S405；

S404、将所述文本数据和所述目标文本数据均认定为异常的文本数据，将二者进行删除，结束；

S405、将所述文本数据认定为重复的文本数据，删除该文本数据，并保留所述目标文本数据，结束；

S406、分别对所述文本数据的所有属性元素集中的数据类型和字段长度限制进行逐一检查，判断所有属性元素集中的数据类型和字段长度限制是否均符合规范，若是，则将所述文本数据认定为合格的文本数据，然后执行步骤S50，反之，则将所述文本数据认定为不合格的文本数据，并进行删除，结束。