介绍
这篇文章给大家分享的是有python爬关虫实现翻页的方法的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。
很多初学python爬虫的小伙伴们都会遇到python爬虫翻页的问题,我在这里先介绍一种。
需要爬取的网站如图所示
查询的这种植物有四页。当我们平时翻页时,首先想到肯定是点击页面上的下一页,写爬虫也是如此,想提取页面上的链接进行访问。但是这样做很麻烦,并且效率很低。
翻页的方式一般有两种:
1,观察网站翻页时链接变化
2,如果写爬虫的请求方式是发布方式请求,则需要观察后的数据的变化是否有规律
今天讲得是第一种方法
如图,当我点击下一页时,观察到地址栏的链接变化
在链接中我们可以惊喜的发现,有页面关键字,而且恰好为2,我们试验一下,将链接中页面的值改为3,发现正常访问,正好是第三页,因此,我们找到了翻页方式,更改链接中关键字的值。
因此翻页过程步骤为:
1,获取总网页数目
2,利用的循环改变页面的值,进行翻页。
具体翻页代码实现如下:
获取总页码
网络请求方式
改变请求头中的页面数值
感谢各位的阅读!关于python爬虫实现翻页的方法就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!
