介绍 pip install scrapy scrapy startproject 志愿者项目 志愿者项目/,,scrapy.cfg
,,志愿者项目/,,,,,,__init__ . py
,,,,,,items.py
,,,,,,pipelines.py
,,,,,,settings.py
,,,,,,,蜘蛛/,,,,,,,,,,__init__ . py
,,,,,,,,,,,…
这篇文章将为大家详细讲解有关什么是scrapy框架,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
<强>一、安装scrapy框架
<强>二、创建一个scrapy项目
安装完成后,python会自动将scrapy命令添加到环境变量中去,这时我们就可以使用scrapy命令来创建我们的第一个scrapy项目了。
打开命令行,输入如下命令
这里的startproject命令将会在当前目录下创建一个scrapy项目,后面跟着的参数是需要创建的项目的名称。
比如这里我们会创建一个名为志愿者项目的项目,项目结构如下:
这些文件分别是:
scrapy。cfg:项目的配置文件
志愿者项目/:该项目的python模块。该项目的所有代码都在这个目录下
志愿者项目/项目。py:项目中项目的文件,我们在这个文件里定义要爬取的数据,有点类似于Django的模型。
志愿者项目/pipelines.py:项目中管道的文件(我把这个称为通道文件,意思就是数据处理的通道),对爬取到的数据进行处理(如:储存)
志愿者项目/设置。py:项目的设置文件,设置全局变量的值,通道的开启和关闭以及多个通道和爬虫的执行优先级
志愿者项目/蜘蛛/:爬虫的主要逻辑都在这个文件夹里,包括页面请求,数据提取,反爬措施等。
关于什么是scrapy框架就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看的到。
