在django中运行scrapy框架的方法 - 行业资讯 - 肥雀云

　　介绍

这篇文章主要讲解了在django中运行scrapy框架的方法,内容清晰明了,对此有兴趣的小伙伴可以学习一下,相信大家阅读完之后会有帮助。

1。新建一个django项目,

2。前端展示一个按钮

& lt;形式action=?启动/?方法=癙OST"比; 　　{% csrf_token %} 　　& lt;输入类型=皊ubmit"值=https://www.yisu.com/zixun/逼舳莱?> 　　

3。在django项目的根目录创建scrapy项目

4。cmd命令行运行:scrapyd启动服务

5。将scrapy项目部署到当前工程:scrapyd-deploy爬虫名称- p项目名称

6.的观点。py

 #首页
　　def指数(请求):
　　返回渲染(请求,& # 39;index . html # 39;,当地人())
　　
　　def开始(请求):
　　如果请求。方法==& # 39;文章# 39;:
　　#启动爬虫
　　url=& # 39; http://localhost: 6800/schedule.json& # 39;
　　data=https://www.yisu.com/zixun/{“项目”:“ABCkg”,“蜘蛛”:“ABCkg”}
　　print(请求。帖子(url=url, data=数据))
　　返回JsonResponse({“结果”:“ok”})

7。在本6800年地端口点击工作当前爬虫项目就在运行了。

8。写一个按钮,点击停止scrapy爬虫

 def停止(请求):
　　如果请求。方法==& # 39;文章# 39;:
　　#停止爬虫
　　url=& # 39; http://127.0.0.1:6800 cancel.json& # 39;
　　data=https://www.yisu.com/zixun/{“项目”:“ABCkg”,“工作”:“b7fe64ee7ad711e9b711005056c00008”}
　　print(请求。帖子(url=url, data=数据))
　　返回JsonResponse({“结果”:“停止”})

总结:

- - - - - - - - - - - - - - - - - scrapyd管理- - - - - - - - - - - - - - - - - - - - - - -

1,获取状态

http://127.0.0.1:6800 daemonstatus.json

2,获取项目列表

http://127.0.0.1:6800 listprojects.json

3,获取项目下已发布的爬虫列表

http://127.0.0.1:6800 listspiders.json& # 63;项目=myproject的

4,获取项目下已发布的爬虫版本列表

http://127.0.0.1:6800 listversions.json& # 63;项目=myproject的

5,获取爬虫运行状态

http://127.0.0.1:6800 listjobs.json& # 63;项目=myproject的

6,启动服务器上某一爬虫(必须是已发布到服务器的爬虫)

http://localhost: 6800/schedule.json

(发布方式,data=https://www.yisu.com/zixun/{“项目”:myproject,“蜘蛛”:myspider})

7,删除某一版本爬虫

http://127.0.0.1:6800 delversion.json - d项目=项目名- d版本

(发布方式,data=https://www.yisu.com/zixun/{“版本”,“项目”:myproject: myversion})

8,删除某一工程,包括该工程下的各版本爬虫

http://127.0.0.1:6800 delproject.json

(发布方式,data=https://www.yisu.com/zixun/{“项目”:myproject})

9日取消爬虫

http://127.0.0.1:6800 cancel.json

(发布方式,data=https://www.yisu.com/zixun/{“项目”:myproject,“工作”:myjob})

看完上述内容,是不是对在django中运行scrapy框架的方法有进一步的了解,如果还想学习更多内容,欢迎关注行业资讯频道。