Python爬虫如何正则表达式

今天就跟大家聊聊有Python爬关虫如何正则表达式,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

<强>爬虫,爬虫中使用正则表达式

下面我们尝试爬取内涵段子网站:http://www.neihan8.com/article/list_5_1.html

打开之后,当你进行翻页的时候,不难注意到,url地址的变化:

第一页url: http://www.neihan8.com/article/list_5_1 . html

第二页url: http://www.neihan8.com/article/list_5_2 . html

第三页url: http://www.neihan8.com/article/list_5_3 . html

第四页url: http://www.neihan8.com/article/list_5_4 . html

这样,我们把url规律找到了,要想爬取所有的段子,只需要修改一个参数即可。下面,我们就开始一步一步将所有的段子爬取下来。

<强>第一步:获取网页数据(网页上全部内容)

1。按照我们之前的用法,我们需要写一个加载页面的方法。

这里我们定义一个类,将url请求作为一个成员方法处理。

我们创建一个duanzi_spider。py文件。

然后定义一个蜘蛛类,并且添加一个加载页面的成员方法。