介绍
这篇文章主要介绍了Python怎么使用正则表达式获取网页中所需要的信息,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获、下面让小编带着大家一起了解一下。
<强>使用正则表达式的几个步骤:
1,用进口重新导入正则表达式模块;
2,用re.compile()函数创建一个正则表达式对象,
3,用正则表达式对象的搜索()或findall()方法,传入想要查找的字符串,返回一个匹配对象,
4,调用匹配对象的组()方法,返回匹配到的字符串。
在交互式环境中简单尝试一下,查询字符串中的固话:
, import 再保险=,text & # 39;小明家的固话是0755 - 123456,而小丽家的固话时0789 - 654321,小王家的电话是123456789 & # 39;#用于检测的字符串=,,ph_re re.compile (" # 39; \ d {4} ? - \ d + & # 39;), #创建正则表达式对象,匹配几种电话的方式,\ d表示0 - 9的数字,{4}表示前面的匹配4次,?表示可选,+表示出现1次或多次。=,,matchs1 ph_re.findall(文本),# findall()表示查找所有匹配项,返回一个字符串=,,matchs2 ph_re.search(文本)#搜索(),查找第一次匹配的文本,返回一个对象。
,打印(matchs1)
,打印(matchs2)
之前,matchs2.group () 返回的结果,是这样的:
findall()方法返回的是一个字符串,可以直接打印出来。而搜索()方法返回的是一个对象,所以打印出来的是是如图的第二行。
调用组(),对象返回匹配的结果。
最后,小王的电话之所以没有匹配到,是因为& # 39;& # 39;没有进行可选即在其后加上”吗? & # 39;。
下面进行一个小的实验,获取某个网页中所有的http/https网址,并计算有多少个。
首先是获取HTML文件。这里要用到请求模块。
, #, - *安康;编码:,utf-8 - * -
import 请求
import 再保险
,def get_html (url):
时间=res 才能;requests.get (url)
时间=res.encoding 才能;& # 39;utf - 8 # 39;
html 才能=res.text
return 才能;html 这里get_html函数返回的,其实就类似上面例子中的文本,用来匹配的文本。
然后,创建正则表达式:
def get_addr(反应):
addr_regex 才能=,re.compile (" # 39; & # 39; & # 39; (
,,(http://| https://) ?# http/https
,,(www) ?
,,(\ [a-z1-9A-Z] +)。
,,(\ com | \ . cn)
,,)& # 39;& # 39;& # 39;re.VERBOSE) #匹配网址,
时间=matchs 才能;[]
for 才能;groups 拷贝addr_regex.findall(反应):
,,matchs.append(组[0])
if 才能len(配),==,0:
,才能打印(& # 39;没有网址& # 39;),,
return 才能配 这里向re.compile(),传入变量re.VERBOSE,作为第二个参数,可以将正则表达式放在多行,并进行注释,如上。
返回一个配列表对象。
再来个启动函数。
, def 开始():
时间=url 才能;& # 39;http://news.163.com/18/0127/18/D966K4CO0001899N.html& # 39;
时间=a 才能;get_html (url)
时间=b 才能;get_addr (a)
打印才能(& # 39;\ n # 39; . join (b))
打印才能(str (len (b)))
打印才能(& # 39;好吧,)
if __name__ ==, & # 39; __main__ # 39;:
开始才能() 这里传入的url是我随意找的一个新闻链接。
然后调用<代码> get_html() 和<代码> get_addr() 就得到了想要的东西。<代码> str (len (b))>
测试的结果是类似这样的:
这里似乎获取一些url,没什么卵用…但是,如果结合前面的查询新闻列表的方式,获取批量url,
而创建的正则是xxx.jpg,然后调用os模块,os.mkdir(文件夹),os.chdir(文件夹),将获取到的匹配结果写入文件,放入某个文件夹。
那么就可以实现,从某些网站上批量获取jpg图片,然后存入某个文件夹的爬虫功能。实测,可行!
感谢你能够认真阅读完这篇文章,希望小编分享的“Python怎么使用正则表达式获取网页中所需要的信息”这篇文章对大家有帮助,同时也希望大家多多支持,关注行业资讯频道,更多相关知识等着你来学习!
