这篇文章主要介绍python中scrapy指的是什么,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
scrapy是python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓web站取点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘,监测和自动化测试只
scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider,站点地图爬虫等,最新版本又提供了web2.0爬虫的支持。
<>强基本功能
scrapy是一个为爬取网站数据,提取结构性数据而设计的应用程序框架,它可以应用在广泛领域:scrapy常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过scrapy框架实现一个爬虫,抓取指定网站的内容或图片只
尽管scrapy原本是设计用来屏幕抓取(更精确的说,是网络抓取),但它也可以用来访问API来提取数据。
<强> scrapy架构
scrapy引擎(引擎):负责蜘蛛,ItemPipeline,下载器,调度器中间的通讯,信号,数据传递等。
调度器(调度器):它负责接受引擎发送过来的请求请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
下载器(下载器):负责下载scrapy引擎(引擎)发送的所有请求请求,并将其获取到的反应交还给scrapy引擎(引擎),由引擎交给蜘蛛来处理。
蜘蛛(爬虫):它负责处理所有响应,从中分析提取数据,获取项字段需要的数据,并将需要跟进的URL提交给引擎,再次进入调度器(调度器)。
项目管道管(道):它负责处理蜘蛛中获取到的条目,并进行进行后期处理(详细分析,过滤,存储等)的地方。
下载器仿真中间件(下载中间件):一个可以自定义扩展下载功能的组件。
蜘蛛中间件)(蜘蛛中间件):一个可以自定扩展和操作引擎和蜘蛛中间通信的功能组件只
以上是python中scrapy指的是什么的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!
