介绍 #,,把scrapy中默认的去重组件替换为scrapy-redis中的去重组件
时间=DUPEFILTER_CLASS “scrapy_redis.dupefilter.RFPDupeFilter"
,
#,,把scrapy中默认的调度器替换成scrapy-redis中的调度器
时间=SCHEDULER “scrapy_redis.scheduler.Scheduler"
,
#,,任务持久化
SCHEDULER_PERSIST =,真的
,
#,,添加scrapy-redis管道
ITEM_PIPELINES =, {
,,,,# & # 39;guoke.pipelines.GuokePipeline& # 39;:, 300年,
,,,& # 39;scrapy_redis.pipelines.RedisPipeline& # 39;:, 400年,
}
,
#,添加复述,数据库的连接的URL=#,REDIS_URL & # 39;复述://127.0.0.1:6379& # 39;
,
时间=REDIS_HOST & # 39; localhost # 39;
REDIS_PORT =6379
REDIS_PARAMS =, {}
REDIS_PARAMS[& # 39;密码# 39;],=,& # 39;12345 & # 39; 得到scrapy_redis.spiders import RedisSpider
#,class WendaSpider (scrapy.Spider):
#,继承RedisSpoder类
class WendaSpider (RedisSpider):
,,,name =, & # 39;天涯问答# 39;
,,,allowed_domains =, (& # 39; guokr.com& # 39;】
,,,#添加复述,库,当复述中没有这个键的时候,程序会处于监听等待状态
,,,redis_key =, & # 39; python # 39;
这篇文章将为大家详细讲解有关scrapy-redis在python分布式爬虫中怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
在设置。py中修改和添加的内容
,
问答”。py添加的内容
关于scrapy-redis在python分布式爬虫中怎么用就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看的到。
