[发明专利]一种基于分词的用户地址数据清洗方法

说明书

本发明公开了一种基于分词的用户地址数据清洗方法，该方法包括如下步骤：步骤1，构建元数据库，且元数据库中存储有标准地址数据；步骤2，读取并基于元数据库识别用户地址数据中的特征字符，然后以特征字符作为依据对用户地址数据进行分词操作，从而提取出多个地址子数据；步骤3，将多个地址子数据与标准地址数据进行匹配，通过标准地址数据修正用户地址数据。本发明不要求原始数据的规范性，对数据源的要求低，因而本发明适用范围广；通过构建实际的元数据库实现对不规范或不确定的地址进行匹配和清洗，不仅有效地降低了数据清洗工作量和数据清洗时间，而且有效解决了不规范地址匹配难的问题，实现对不规范地址的快速和有效匹配。

技术领域

本发明涉及数据处理技术领域，更为具体来说，本发明为一种基于分词的用户地址数据清洗方法。

背景技术

“脏数据”主要指不一致/不准确的数据、陈旧数据及人为造成的错误数据等，其直接影响数据的质量，进而影响到企业决策的准确性和成本的投入量。据统计，一些企业的数据错误率预期在1％-5％，有些可能更高，“脏数据”会给企业带来风险和成本追加。其中，地址数据是企业的重要数据，地址“脏数据”直接影响企业实际业务发展，因此，进行地址数据清洗对企业的大数据业务推进有很大帮助。现有的地址数据清洗方法主要包括如下几种。

(1)基于一般分词方法的改进，比如，机械分词方法和基于统计的分词方法等。

(2)通过训练数据的方式构建用于数据清洗的匹配规则，比如添加新的规则或改进有限状态自动机等。

但是，地址数据纷繁复杂、表述不一，现有方法存在与实际地址匹配难的问题，无法进行针对性地有效匹配，还会产生匹配规则多样和冗余的问题，而且构建匹配规则本身就消耗大量的时间和工作量。因此，现有的这两种方法均存在针对性差、无法很好地匹配不确定的地址，难以对地址数据进行有效、可靠的清洗，而且还存在耗时长、复杂度高、工作量大的问题。

因此，针对现有技术中存在的地址数据匹配难、耗时长、复杂度高、工作量大的问题，在地址数据清洗的过程中，如何有效降低工作量、缩短清洗时间、提高清洗效率，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

发明内容

为解决现有地址数据清洗方法存在的耗时长、复杂度高、工作量大等问题，本发明创新地提出了一种基于分词的用户地址数据清洗方法，通过构建元数据库的方式实现对标准地址数据的分词、提取及修正，以达到对用户地址数据进行清洗的目的，该方法对用户地址数据的规范性要求较低，具有广泛的适用性，从而解决现有技术中存在的工作量大、清洗时间长、清洗效率低等问题。

为实现上述的技术目的，本发明公开了一种基于分词的用户地址数据清洗方法，所述方法包括如下步骤，

步骤1，构建元数据库，所述元数据库中存储有标准地址数据，所述标准地址数据中包含与地址相关的所有种类的特殊字符；

步骤2，读取并基于元数据库识别用户地址数据中的特征字符，然后以所述特征字符作为依据对所述用户地址数据进行分词操作，从而提取出多个地址子数据；

步骤3，将所述多个地址子数据与所述标准地址数据进行匹配，通过所述标准地址数据修正所述用户地址数据。

本发明不要求原始数据的规范性，对数据源的要求低，所以，本发明具有适用范围广的优点；本发明通过构建实际的元数据库实现对不规范或不确定的地址进行匹配和清洗，不仅有效降低了数据清洗工作量和减少了数据清洗时间，而且有效解决了不规范地址匹配难的问题，实现对不规范地址的快速和有效匹配，因此本发明具有耗时短、速度快等优点，避免了现有技术中的大量的冗余工作。另外，本发明还具有较好的扩展性。

进一步地，所述特征字符包括行政区域信息、街道信息、小区信息、楼信息、单元信息及门牌号信息。