小编给大家分享一下Python中Scrapy框架的简介,希望大家阅读完这篇文章后大所收获、下面让我们一起去探讨吧!
<强> Scrapy框架介绍
Scrapy是一个基于扭曲的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。
<强> 1。架构介绍
首先我们来看下Scrapy框架的架构,如图佳绩所示:
图佳绩Scrapy架构
它可以分为如下的几个部分。
引擎,引擎,用来处理整个系统的数据流处理,触发事务,是整个框架的核心。
项,项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该对象。
调度器,调度器,用来接受引擎发过来的请求并加入队列中,并在引擎再次请求的时候提供给引擎。
下载,下载器,用于下载网页内容,并将网页内容返回给蜘蛛。
蜘蛛,蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。
项目管道,项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。
下载中间件(下载器中间件,位于引擎和下载器之间的钩子框架,主要是处理引擎与下载器之间的请求及响应。
蜘蛛中间件(蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛输入的响应和输出的结果及新的请求。
<强> 2。数据流
Scrapy中的数据流由引擎控制,其过程如下:
发动机首先打开一个网站,找到处理该网站的蜘蛛并向该蜘蛛请求第一个要爬取的URL。
引擎从蜘蛛中获取到第一个要爬取的URL并通过调度器以请求的形式调度。
引擎向调度程序请求下一个要爬取的URL。
调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件来转发给下载器下载。
一旦页面下载完毕,下载器生成一个该页面的响应,并将其通过下载中间件来发送给引擎。
引擎从下载器中接收到响应并通过蜘蛛中间件来发送给蜘蛛处理。
蜘蛛处理反应并返回爬取到的项目及新的请求给引擎。
引擎将蜘蛛返回的项目给项目管道,将新请求给调度器的。
重复第二步到最后一步,直到调度器中没有更多的请求,引擎关闭该网站,爬取结束。
通过多个组件的相互协作,不同组件完成工作的不同,组件对异步处理的支持,Scrapy最大限度地利用了网络带宽,大大提高了数据爬取和处理的效率。
<强> 3。项目结构
Scrapy框架和pyspider不同,它是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:
在此要将各个文件的功能描述如下:
scrapy。cfg:它是Scrapy项目的配置文件,其内定义了项目的配置文件路径,部署相关信息等内容。
项目。py:它定义项数据结构,所有的项的定义都可以放这里。
管道。py:它定义项目管道的实现,所有的项目管道的实现都可以放这里。
settings.py:它定义项目的全局配置。
中间件)。py:它定义蜘蛛中间件)和下载器仿真中间件的实现。
蜘蛛:其内包含一个个蜘蛛的实现,每个蜘蛛都有一个文件。
看完了这篇文章,相信你对Python中Scrapy框架的简介有了一定的了解,想了解更多相关知识,欢迎关注行业资讯频道,感谢各位的阅读!
