如果你仔细观察,就不难发现,懂爬虫,学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像Python这样的编程语言提供越来越多的优秀工具,让爬虫变得简单,容易上手。
利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:
知乎:爬取优质答案,为你筛选出各话题下最优质的内容。
淘宝,京东:抓取商品,评论及销量数据,对各种商品及用户的消费场景进行分析。
安居客,链家:抓取房产买卖及租售信息,分析房价变化趋势,做不同区域的房价分析。
拉勾网,智联:爬取各类职位信息,分析各行业人才需求情况及薪资水平。
雪球网:抓取雪球高回报用户的行为,对股票市场进行分析和预测。
对于小白来说,爬虫可能是一件非常复杂,技术门槛很高的事情。比如有人认为学爬虫必须精通Python,然后哼哧哼哧系统学习Python的每个知识点,很久之后发现仍然爬不了数据;有的人则认为先要掌握网页的知识,遂开始HTML、CSS,结果入了前端的坑,瘁……
但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议你从一开始就要有一个具体的目标。
在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的。这里给你一条平滑的,零基础快速入门的学习路径。
1。学习Python包并实现基本的爬虫过程
2。了解非结构化数据的存储
3。学习scrapy,搭建工程化爬虫
4。学习数据库知识,应对大规模数据存储与提取
5。掌握各种技巧,应对特殊网站的反爬措施
6。分布式爬虫,实现大规模并发采集,提升效率
, - & # 10102;——
<强>学习Python包并实现基本的爬虫过程
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行,这其实也是模拟了我们使用浏览器获取网页信息的过程。
Python中爬虫相关的包很多:urllib,请求,bs4, scrapy, pyspider等,建议从请求+ Xpath开始,请求负责连接网站,返回网页,Xpath用于解析网页,便于抽取数据。
如果你用过BeautifulSoup,会发现Xpath要省事不少,一层一层检查元素代码的工作,全都省略了。这样下来基本套路都差不多,一般的静态网站根本不在话下,豆瓣,糗事百科,腾讯新闻等基本上都可以上手了。
当然如果你需要爬取异步加载的网站,可以学习浏览器抓包分析真实请求或者学习硒来实现自动化,这样,知乎,时光网,猫途鹰这些动态的网站也可以迎刃而解。
, - & # 10103;——
<>强了解非结构化数据的存储
爬回来的数据可以直接用文档形式存在本地,也可以存入数据库中。
开始数据量不大的时候,你可以直接通过Python的语法或熊猫的方法将数据存为csv这样的文件。
当然你可能发现爬回来的数据并不是干净的,可能会有缺失,错误等等,你还需要对数据进行清洗,可以学习熊猫包的基本用法来做数据的预处理,得到更干净的数据。
- & # 10104;——
<强>学习scrapy,搭建工程化的爬虫
掌握前面的技术一般量级的数据和代码基本没有问题了,但是在遇到非常复杂的情况,可能仍然会力不从心,这个时候,强大的scrapy框架就非常有用了。
scrapy是一个功能非常强大的爬虫框架,它不仅能便捷地构建要求,还有强大的选择器能够方便地解析反应,然而它最让人惊喜的还是它超高的性能,让你可以将爬虫工程化,模块化。
学会scrapy,你可以自己去搭建一些爬虫框架,你就基本具备爬虫工程师的思维了。
- & # 10105;——
<强>学习数据库基础,应对大规模数据存储
爬回来的数据量小的时候,你可以用文档的形式来存储,一旦数据量大了,这就有点行不通了,所以掌握一种数据库是必须的,学习目前比较主流的MongoDB就好。
MongoDB可以方便你去存储一些非结构化的数据,比如各种评论的文,本图片的链接等等。你也可以利用PyMongo,更方便地在Python中操作MongoDB。
