先说下自己的环境,复述,是部署在centos上的,爬虫运行在windows上,
<强> 1。安装复述,
yum安装- y复述,
<强> 2。修改配置文件
<代码> vi/etc/redis.conf
将,保护模式没有解注释,否则的话,在不设置密码情况下远程无法连接复述,
<强> 3。重启复述,
systemctl重启复述,
<>强4。关闭防火墙
systemctl停止firewalld.service
<强> 5。开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行
REDIS_URL='复述://192.168.61.130:6379 '
<强> 6。修改spiders.py文件
# - * -编码:utf - 8 - *
从scrapy_redis。蜘蛛进口RedisSpider
类ExampleSpider (RedisSpider):
name=' myspider '
redis_key=' test_key '
allowed_domains=(“www.example.com”)
def解析(自我,反应):
印刷(1111)
通过
<强> 7。可以执行这个爬虫了
scrapy runspider example.py
<强> 8。进入redis
redis-cli - h 127.0.0.1 - p
rpush test_key http://test.com
即可看到爬虫开始运行了
<强>总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
