小编给大家分享一下Python怎么实现数据可视化并监控爬虫状态,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!
怎么可视化来监控你的爬虫的状态。
1。成品图
<李>
InfluxDb,是目前比较流行的时间序列数据库;
<李>Grafana、一个可视化面板(仪表板),有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,支持石墨,zabbix, InfluxDb,普罗米修斯和OpenTSDB作为数据源
<李> Ubuntu<李>
InfluxDb (pip安装InfluxDb)
<李> Python 2.7
3。原理
获取要展示的数据,包含当前的时间数据,存到InfluxDb里面,然后再到Grafana里面进行相应的配置即可展示;
4。安装
4.1 Grafana安装
官方安装指导
安装好以后,打开本地的3000端口,即可进入管理界面,用户名与密码都是admin .
4.2 InfulxDb安装
这个安装就网上自己找吧,有很多的配置我都没有配置,就不在这里误人子弟了。
5。InfluxDb简单操作
碰到了数据库,肯定要把增删改查学会了啊,和sql几乎一样,只有一丝丝的区别,具体操作,大家可以参考官方的文档。
涌入进入命令行
<李>创建数据库测试创建数据库
<李>显示数据库查看数据库
<李>使用测试使用数据库
<李>显示系列看表
<李>select * from table_test选择数据
<李>下降测量table_test删表
6。存数据
InfluxDb数据库的数据有一定的格式，因为我都是利用python库进行相关操作，所以下面将在python中的格式展示一下：
其中:
measurement, 表名
time，时间
tags，标签
fields，字段
可以看到，就是个列表里面，嵌套了一个字典。其中，对于时间字段，有特殊要求，可以参考这里， 下面是python实现方法：
所以，到这里，如何将爬虫的相关属性存进去呢？以MongoDB为例
那么现在我们已经往数据里存了数据了，那么接下来要做的就是把存的数据展示出来。
7.展示数据
7.1 配置数据源
以admin登录到Grafana的后台后，我们首先需要配置一下数据源。点击左边栏的最下面的按钮，然后点击DATA SOURCES，这样就可以进入下面的页面：
点击ADD DATA SOURCE，进行配置即可，如下图：
其中，name自行设定；Type 选择InfluxDB；url为默认的http://localhost:8086， 其他的因为我前面没有进行配置，所以默认的即可。然后在InfluxDB Details里的填入Database名，最后点击测试，如果没有报错的话，则可以进入下一步的展示数据了；
7.2 展示数据
点击左边栏的+号，然后点击GRAPH
接着点击下图中的edit进入编辑页面：
