[发明专利]一种识别省市区的方法及装置

说明书

本发明涉及大数据分析处理领域，具体提供了一种识别省市区的方法，具有如下步骤：S1、制作数据集；S2、选取或自定义特征提取函数；S3、选择合适分类方法训练；S4、获得识别装置。与现有技术相比，本发明利用机器学习中的监督式分类算法以及前期已经标注了省市区的地址数据，搭建简便，能够直接用于分省份、分地市和分区县维度的数据分析。

技术领域

本发明涉及大数据分析处理领域，具体提供一种识别省市区的方法及装置。

背景技术

网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

在线生活服务方兴未艾,是各大数据公司的研究热点。但是爬取的服务设施地址往往不规范，无法直接用于分省份、分地市和分区县维度的数据分析。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的识别省市区的方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的识别省市区的装置。

本发明解决其技术问题所采用的技术方案是：

一种识别省市区的方法，具有如下步骤：

S1、制作数据集；

S2、选取或自定义特征提取函数；

S3、选择合适分类方法训练；

S4、获得识别装置。

进一步的，在步骤S1中，制作带省市区标签的地址数据集。

进一步的，在步骤S2中，特征提取函数Feature()从每个地址中提取至多4个特征，用jieba.analyse.extract_tags()选择tfidf值最大的3个特征词，取地址的前10个中文字符作为第四个特征。

进一步的，在步骤S3中，选择合适的分类算法学习地址数据集中的第二步特征，输出模型，记为NB_classifier()。

进一步的，在步骤S4中，所述NB_classifier()将来用于识别新地址所属省份、地市、区县的装置，输入新地址，输出所属省市区，即NB_classifier。

一种识别省市区的装置，包括数据集，在数据集中设计特征提取函数，所述特征提取函数从每个地址中提取至多4个特征，选择合适的分类算法输出模型，所述模型用于识别新地址所属省份、地市、区县的装置。

进一步的，所述数据集为带有省市区标签的地址数据集。

进一步的，特征提取函数Feature()从每个地址中提取至多4个特征，用jieba.analyse.extract_tags()选择tfidf值最大的3个特征词，取地址的前10个中文字符作为第四个特征。