python爬虫获取动态网页时怎么过滤图片

  介绍

小编给大家分享一python爬下虫获取动态网页时怎么过滤图片,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!

在这个爬虫里不用看任何图片信息,所以图片没有加载的必要,为了提升一点点运行效率,将所有图片拦截掉:

//开启拦截器   await  page.setRequestInterception(真正的)   await  page.on(& # 39;请求# 39;,interceptedRequest =祝辞,{   ,,,//判断加载的url是否以jpg或png结尾,符合条件将不再加载   ,,,如果(interceptedRequest.url () .endsWith (& # 39; jpg # 39;), | |, interceptedRequest.url () .endsWith (& # 39; . png # 39;)) {   ,,,,,,,interceptedRequest.abort ();   还有,,,}{   ,,,,,,,interceptedRequest.continue ();   ,,,}   })

<>强拓展:调整窗口大小

在浏览器弹出时,会发现打开的窗口显示范围很小,不仅不方便浏览,可能还会导致点击或输入等操作出错,所以还是有必要进行调整:

await  page.setViewport ({   ,,,宽度:,1920年,   ,,,身高:,1080年,   })

以上是“python爬虫获取动态网页时怎么过滤图片”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!

python爬虫获取动态网页时怎么过滤图片