如何在Python中使用Scrapy爬虫框架 - 行业资讯 - 肥雀云

　　介绍

这篇文章给大家介绍如何在Python中使用Scrapy爬虫框架,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

<强>全局命令

全局命令有哪些呢,要想了解在Scrapy中有哪些全局命令,可以在不进入Scrapy项目所在目录的情况下,运行<代码> scrapy-h>

可以看的到,此时在可用命令在终端下展示出了常见的全局命令,分别为取回,runspider,设置,壳牌startproject,版本,视图。

<>强取命令

取回命令主要用来显示爬虫爬取的过程。如下图所示:

在使用取回命令时,同样可以使用某些参数进行相应的控制。那么获取有哪些相关参数可以使用呢?我们可以通过<代码> scrpy获取- h> #,显示头信息,并且不显示日志信息　　scrpay -fetch ——headers ——nolog http://www.baidu.com

<强> sunspider命令

通过<代码> runspider 命令可以不依托scrapy的爬虫项目,直接运行一个爬虫文件

#, first.py为自定义的一个爬虫文件　　scrapy runspider 第一。py

<强>设置命令

在scrapy项目所在的目录中使用设置命令查看的使用对应的项目配置信息,如果在scrapy项目所在的目录外使用设置命令查看的scrapy默认的配置信息

#,在项目中使用此命令打印的为BOT_NAME对应的值,即scrapy项目名称。　　#,在项目外使用此命令打印的为scrapybot 　　scrapy settings ——get BOT_NAME

<强>壳命令

通过壳命令可以启动Scrapy的交互终端。

Scrapy的交互终端经常在开发以及调试的时候用到,使用Scrapy的交互终端可以实现在不启动Scrapy爬虫的情况下,对网站响应进行调试,同样,在该交互终端下,我们也可以写一些Python代码进行相应测试。

如何在Python中使用Scrapy爬虫框架

在祝辞祝辞祝辞后面可以输入交互命令以及相应的代码

<强> startproject命令

用于创建Scrapy项目

<强>版本命令

查看Scrapy版本

<强>视图命令

用于下载某个网页,然后通过浏览器查看

<强>项目命令

<强>板凳命令

测试本地硬件的性能

scrapy 板凳

<强> genspider命令

用于创建爬虫文件,这是一种快速创建爬虫文件的方式。

#, scrpay genspider -t 基本格式　　#,basic 模板　　#,baidu.com 爬取的域名　　scrapy genspider -t basic xxx baidu.com

此时在蜘蛛文件夹下会生成一个以xxx命名的py文件。可以使用<代码> scrapy genspider - l 查看所有可用爬虫模板。当前可用的爬虫模板有:基本,爬行,csvfeed, xmlfeed

<强>检查命令

使用检查命令可以实现对某个爬虫文件进行合同检查,即测试。

 #, xxx为爬虫名
　　scrapy  check  xxx

<强>爬命令

启动某个爬虫

#, xxx为爬虫名　　scrapy crawl xxx

<强>列表命令

列出当前可使用的爬虫文件

scrapy 列表

<强>编辑命令

编辑爬虫文件

scrapy edit xxx

<强>解析命令

通过解析命令,我们可以实现获取指定的URL网址,并使用对应的爬虫文件进行处理和分析

<强>日志等级

等级名含义关键发生了最严重的错误错误发生了必须立即处理的错误警告出现了一些警告信息,即存在潜在错误信息输出一些提示显示调试输出一些调试信息 python有哪些常用库

python常用的库:1. requesuts; 2. scrapy; 3.枕头;4.扭曲;5. numpy; 6. matplotlib; 7. pygama; 8。ipyhton等。