介绍
这篇文章将为大家详细讲解有关码头工人如何部署Scrapy,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
假设我们要在10台Ubuntu部署爬虫如何搞之?用传统的方法会吐血的,除非你记录下来每个步骤,然后步骤之间的次序还完全一样,这样才行。但是这样还是累啊,个别软件下载又需要时间,所以码头工人出现了.Docker把系统,各种需要的应用,还有设置编译成一个图像,然后运行一下就可以了。跟虚拟机的区别是不需要而外的物理支持,共用的。
1. 部署步骤
1.1上传本地scrapy爬虫代码除了设置外到git服务器
1.2编写Dockerfile文件,把设置和要求。txt也拷贝到图像里,一起打包成一个图像
Dockerfile内容:
1.6命令进去后,git克隆1.1中的爬虫,然后复制图片里的设置到爬虫目录,然后执行scrapy爬xxx即可
关于“码头工人如何部署scrapy”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看的到。
原文链接:http://www.waitingfy.com/archives/3249
