从数据爬取到清洗 - 全国学校数据

由于工作原因,经常需要收集一些学校信息,全国各地的学校从幼儿园到大学都可能需要,最好的办法当然是从教育部的网站去找,结果可靠权威,也不用后续加工处理,但是教育部网站能查到的只有高校的数据,而且只有一些很基础的信息,缺少地址、邮编、网站、邮箱、联系电话等信息。此外,小学、中学也没有找到。所以就只能自己去写爬虫收集了。

爬虫

包含全国学校信息的网站有很多,而且大多信息都比较全面,另外技术上也没有验证码之类的反爬手段,使用爬虫也比较容易。选中了一家网站,看了下全国数据大约有 275000 条左右,搜索了下我的学校,从小学到大学都能找到,说明还是比较全面的。搜的时候还看到一家 网站 卖全国学校数据的,标价 3500 块。🤣

爬虫主要分为四个步骤:

  • 从一个初始链接开始爬取,不断获取下一个页面的链接。
  • 在每个页面中解析当前页面的学校列表,获得所有学校的详情页面链接。
  • 请求详情页面链接,解析详情页面的学校信息,将结果保存到 MySQL。
  • 不断重复步骤一,直至完成。

爬虫框架使用 Python 中的 Scrapy,数据解析使用 BeautifulSoup。

爬虫写好之后,开始是在本地跑,爬了一段时间看需要的时间也不短,所以就放到了 Vultr 上跑,大约每小时能爬取 4 万条数据,我是晚上睡觉前开始爬的,第二天早上起来就爬完了。

爬虫相关代码可以在 Github 上找到。

数据清洗

全国学校信息,一共爬到了 27.5 万条左右的数据,数据库大小为 175M,包含了 15 个字段(学校名称、所在地区、专业类别、学校等级、主管部门、详细地址、电话、邮编、网站、邮箱、是否为教育部直属、211、985、独立学院、学校简介等等。

数据问题

学校信息的字段比较多,而且差异比较大,比如是否是 985、211 这些只有高校才会有的属性,小学初中根本就没有。很多学校并没有网站,有的是空值,有的只是一个教育信息网站的学校介绍链接,有的还充斥这一些广告信息。我还注意到邮编信息很多学校都没有,而这个如果需要人工修复的话非常耗时费力。

针对所有字段,可以先按长度降序或者升序排列,查看是否有异常值,比如下面这些字段就有很多问题:


学校名称中包含了广告,其他名称也存在部分广告信息。


网站地址格式错误。


邮件地址格式异常,信息错误。


电话号码中包含了大量的回车、换行符。


学校等级信息错误。


学校分类中包含广告信息。

数据修复

对于以上这些错误,可以使用下面的办法进行修复:

包含空格、换行、回车符

这类问题比较容易修复,由于数据在网页中显示的格式没有去掉,导致包含了大量的空格、换行符、回车符。使用 Python 的 replace 方法将这些字符替换掉就好了。

电话号码、网址、邮箱格式错误

对于这些规则性比较强的文本,可以用正则表达式很容易就能找出错误的信息。根据情况进行修复。

邮编缺失

网站中的学校地址信息大部分都是完整的,但是很多都缺少邮编,而根据地址可以反推出邮编,所以可以利用一些公开的 API 去补全部分缺失的邮编信息。

大部分查询邮编的 API 都是收费的,免费的额度少的可怜,根本不够用。比如聚合数据,免费的只有 100 条/天,就算是高级会员还有 5000 次/天 的限制,比较坑爹。经过搜索,找到了一个 百度邮编查询,没有次数限制,数据来源于 国家邮政局名址信息中心 ,比较靠谱。

所以接下来,对数据库中没有邮编的学校,将他们的地址和邮编查询页的地址拼接,去查询邮编,之后再用 BeautifulSoup 解析出邮编数据。就可以实现部分邮编修复了。需要注意一点,百度的 urlencode 使用 gbk 编码的。

试下来,大约修复了 2000 条缺失的邮编数据。