python用匹配()函数爬数据方法详解

  

匹配()函数的使用。以及从文本中提取数据的方法。在学习再保险模块的相关函数前应了解正则表达式的特殊字符

  

准备一个要爬取的文本文档:

  

直接从某个网页拷贝一份代码,粘贴在一个txt文件里,以供学习。

  

方法很简单,比如打开百度视频的热门电影网页,右键点击查看源代码,然后复制,粘贴到一个txt文件里,保存到工作目录下。

  

有4000多行。

  

 python用匹配()函数爬数据方法详解

        re.match(模式、字符串、旗帜=0)      

  

①模式,是正则表达式.string,被检验的字符串。

  

②旗帜是可选参数,此标记是用来对彭定康的补充,例如:re.S,可以让正则表达式中的点匹配换行符\ n。(如图片中,可以看帮助文档,查看有哪些标记)

  

③匹配()函数由左向右检验字符串,若匹配到正则表达式,返回一个匹配对象,否则就返回没有。

  

④re.match()匹配字符串的开始位置,而不匹配每行开始。

  

- - - - -所以才将网页的每行放入列表,以供匹配函数对每行操作。

  

 python用匹配()函数爬数据方法详解

  

比如要在文档中,提取电影的网址,和电影名。

  

①复制那行文本作为表达式,

  

②将要提取的网址和和电影名替换为(. *),这只是暂时的,可以在接下来的代码中调整。

  

 python用匹配()函数爬数据方法详解

  

读取文本:

  

①张开()语用句读取;

  

②用readline,一次性读完,返回一个列表,元素是文本的每一行。

        张开(‘aa.txt’,‘r’,编码=皍tf - 8”) f:   行=f.readlines ()      

  

 python用匹配()函数爬数据方法详解

  

①判断每行是否返回了匹配的对象,

  

②接收匹配对象,并用组()提取表达式内括号的内容;

        线的线:   如果re.match (pat,线):#判断过滤掉返回不的行,   ret=re.match (pat,线)#接收匹配对象   print (ret.groups ())      

  

 python用匹配()函数爬数据方法详解

  

发现有不符合的行,稍加修改,过滤掉不符合的行:

  

因为,不合的行都有空格(或其他字符)。可以给第二子组的点。换成非[^];非空格的任意字符,意思就是不要有空格的。

  

 python用匹配()函数爬数据方法详解

  

用f-string格式化对输出的文本稍加修饰,使用组(1),(2),

  

 python用匹配()函数爬数据方法详解

  

可以将这段代码封装为一个函数。爬取百度视频的其他栏目。

  

 python用匹配()函数爬数据方法详解

  

测试:百度视频的电影,电视剧,和动漫等栏目,网页上的格式基本相同,所以用上面的函数直接套用。

  

打开百度视频的动漫,复制源代码,存为bb.txt。

  

同样可以爬取网址和视频名称。

  

以上仅是练习匹配()函数的例子。

  

 python用匹配()函数爬数据方法详解

  

以上就是关于python如何用匹配()函数爬数据的全部内容,感谢大家的阅读和对的支持。

python用匹配()函数爬数据方法详解