Python学习教程:关于Scrapy爬虫项目运行和调试的小技巧——第一讲

　　扫除运行Scrapy爬虫程序的bug之后,基本可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前,在这里跟大家介绍四个小技巧,可以方便我们操纵和调试爬虫。 　　

　　很多时候我们在使用Scrapy爬虫框架的时候,如果想运行Scrapy爬虫项目的话,一般都会想着去命令行中直接执行命令“Scrapy爬crawler_name”,其中crawler_name指的是爬虫的名字,在一开始创建Scrapy爬虫模板的时候就指定了的,而且在该爬虫项目中具有唯一性。但是每次跑到命令行下去执行,看交互的结果,有时候并不是很清晰,所以这里介绍一种方法,可以帮助大家提高开发效率,尤其是调试的时候更是显得方便。 　　

　　在与爬虫项目的scrapy.cfg文件同级目录下建立一个main.py文件,用于控制整个爬虫项目的执行。