数据分析

从数据爬取到清洗 - 全国学校数据

由于女朋友的工作原因,经常需要收集一些学校信息,全国各地的学校从幼儿园到大学都可能需要,最好的办法当然是从教育部的网站去找,结果可靠权威,也不用后续加工处理,但是教育部网站能查到的只有高校的数据,而且只有一些很基础的信息,缺少地址、邮编、网站、邮箱、联系电话等信息。此外,小学、中学也没有找到。所以就只能自己去写爬虫收集了。

数据分析

如何做好数据可视化?

这两天刚做完优达学城的数据可视化项目,对于数据可视化的流程以及如何通过可视化向读者传达你的思想有一些心得体会。趁着周末有空,写下了分享给大家。 有明确的目的性 数据可视化的目的是更好的分享和传递数据信息。可以帮你把从数据中发现的有价值的信息能以简单明了的方式传递给受众。如果受众能很直观的从你的可视化中了解到你想要表达的观点,那么你的可视化目的也就达到了。 目前数据可视化主要分为 呈现数据 和 分析数据 两种。呈现数据是为了更好的展示数据,更加注重数据展示的效果,通常图表都做的比较酷炫,比如 QQ 的 实时在线人数、全球实时网络攻击地图 等等,通常面向的都是广泛的受众群体。分析数据则是利用可视化技术进行数据分析,以便从中找到有价值的结论。比如各大研究机构发布的分析报告。 腾讯研究院 阿里研究院 以读者为中心 首先需要了解受众,受众群体不同,可视化的目的也必然有所差异。