介绍得到bs4 import BeautifulSoup
import 再保险、urllib2
t=time.time ()
websiteurls={}
def scanpage (url):
websiteurl才能=url
t=才能time.time ()
,n=0
html=才能urllib2.urlopen (websiteurl) .read ()
汤才能=BeautifulSoup (html)
pageurls才能=[]
Upageurls才能={}
pageurls才能=soup.find_all (“a" href=https://www.yisu.com/zixun/True)
在pageurls链接:
如果websiteurl links.get (“href”)和links.get (“href”)不是在Upageurls和links.get websiteurls (“href”):
Upageurls [links.get (“href”)]=0
在Upageurls.keys链接():
试一试:
urllib2.urlopen(链接).getcode ()
除了:
打印“连接失败”
其他:
t2=time.time ()
Upageurls[链接]=urllib2.urlopen(链接).getcode ()
打印n,
打印链接,
打印Upageurls[链接]
t1=time.time ()
打印t1 - t2
n +=1
打印(“总”+ repr (n) +“链接”)
打印time.time () - t
scanpage (“http://news.163.com/?
小编给大家分享一下获取一个页面内所有URL链接的方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家学习,希望大家阅读完这篇文章后大所收获、下面让我们一起去学习方法吧!
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用漂亮的汤对爬取的页面进行解析,提取出所有的URL。
<强>什么是美丽的汤吗?
Beautiful Soup提供一些简单的,Python式的函数用来处理导航,搜索,修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf - 8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,美丽的汤就不能自动识别编码方式了。
BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则Python会使用Python默认的解析器,lxml解析器更加强大,速度更快。
<强>全部代码:
利用BeautifulSoup还可以有针对性的获取网页链接:Python爬虫获取网页上的链接,通过BeautifulSoup的findall()方法对匹配的标签进行查找。
以上是获取一个页面内所有URL链接的方法的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
