介绍 # !/usr/bin/env python
# - * -编码:utf - 8 - *
# @Time: 2018/10/31 17:54
#爬取图片
进口的要求
从pyquery进口pyquery pq
导入的时间
头={
& # 39;用户代理# 39;:& # 39;Mozilla/5.0(麦金塔电脑;Intel Mac OS X 10 _11_4) AppleWebKit/537.36 & # 39;
& # 39;(KHTML,像壁虎)Chrome/52.0.2743.116 Safari 537.36 & # 39;
}
#这里我使用了代理你可以去掉这个代理IP我是为了后面大规模爬取做准备的
代理={
& # 39;https # 39;: & # 39; 218.75.69.50:39590& # 39;
}
#请求网页获取源码
def start_request (url):
r=请求。得到(url,头=头,代理=代理)
#这个网站页面使用的是GBK编码这里进行编码转换
r。编码=& # 39;gbk # 39;
html=r.text
返回的html
#解析网页获取图片
def解析(文本):
医生=pq(文本)
#锁定页面中的img标签
图像=doc (& # 39; div。ul列表li img # 39;) . items ()
x=0
形象的图片:
#获取每一张图片的链接
img_url=image.attr (& # 39; src # 39;)
#获得每张图片的二进制内容
img=请求。得到(img_url header=头,代理=代理).content
#定义要存储图片的路劲
路径=癋: \ \ \ \“形象;+ str (x) +“.jpg"
#将图片写入指定的目录写入文件用“wb"
张开(路径,& # 39;wb # 39;) f:
f.write (img)
time . sleep (1)
print(“正在下载第{}张图片“.format (x))
x +=1
print(“写入完成“)
def main ():
url=癶ttp://www.netbian.com"
文本=start_request (url)
解析(文本)
if __name__==癬_main__":
main ()
这篇文章主要介绍了python如何爬取图片,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
打开网址查看网页结构
用火狐浏览器打开链接F12查看
由于我使用的pyquery
可以看到图片的链接都在img标签的src属性中我们只要通过pyquery锁定到这个img标签就可以继续下一步了
我们先来尝试抓取一页的壁纸试试看
<强>下面是具体的代码:
感谢你能够认真阅读完这篇文章,希望小编分享python如何爬取图片内容对大家有帮助,同时也希望大家多多支持,关注行业资讯频道,遇到问题就找,详细的解决方法等着你来学习!
