Python爬虫框架的组成需要具备什么功能

这篇文章主要介绍Python爬虫框架的组成需要具备什么功能,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

<强> 1,组成

爬虫框架需要具备哪些功能.Scrapy, pyspider有http请求库,html解析工具,数据库存储等,但其实最核心的是他们的调度(调度器)程序:即如何让你的请求,解析,存储协同工作。

一个最小的爬虫框架只需要一套调度程序就可以了,其他的请求,解析,存储都可以作为框架的扩展来使用,比如:gaoxinge/蜘蛛网一般的。另外既然一个最小的爬虫框架只有一套调度程序,那么它也可以用来做非爬虫的工作。

<强> 2,实例

 #, - *安康;编码:utf-8  - * -
　　“““
　　url: https://stackoverflow.com/questions
　　获取:请求
　　解析:lxml
　　区域:三种
　　“““
　　import 请求
　　得到lxml  import  etree
　　得到spidery  import 蜘蛛
　　,
　　spider =,蜘蛛(
　　,,,urls =, (& # 39; http://stackoverflow.com/questions/?page=& # 39;, +, str (i), +, & # 39;,那种=票# 39;,for 小姐:拷贝范围(1,4)),
　　)
　　,
　　@spider.fetch
　　def 获取(url):
　　,,,response =, requests.get (url)
　　,,,return 响应
　　,
　　@spider.parse
　　def 解析(反应):
　　,,,root =, etree.HTML (response.text)
　　,,,results =, root.xpath (& # 39;//div [@class=\ & # 39; question-summary \ & # 39;] & # 39;)
　　,,,for  result 结果:拷贝
　　,,,,,,,question =, {}
　　,,,,,,,问题[& # 39;投票# 39;],,,=,result.xpath (& # 39; div [@class=\ & # 39; statscontainer \ & # 39;]//强/text () & # 39;) [0]
　　,,,,,,,问题[& # 39;答案# 39;],=,result.xpath (& # 39; div [@class=\ & # 39; statscontainer \ & # 39;]//强/text () & # 39;) [1]
　　,,,,,,,问题[& # 39;观点# 39;],,,=,result.xpath (& # 39; div [@class=\ & # 39; statscontainer \ & # 39;]/div [@class=\ & # 39; views 超新星\ & # 39;]/text () & # 39;) [0] .strip ()
　　,,,,,,,问题[& # 39;标题# 39;],,,=,result.xpath (& # 39; div [@class=\ & # 39;总结\ & # 39;]/h4//text () & # 39;) [0]
　　,,,,,,,问题[& # 39;链接# 39;),,,,=,result.xpath (& # 39; div [@class=\ & # 39;总结\ & # 39;]/h4//@href& # 39;) [0]
　　,,,,,,,油品收率的问题,没有一个
　　,
　　@spider.presist
　　def 区域(项):
　　,,,f.write (str(项),+,& # 39;\ n # 39;)
　　,
　　时间=f 开放(& # 39;stackoverflow.txt& # 39;,, & # 39; wb # 39;)
　　spider.consume_all ()
　　f.close ()