python爬虫硒与PhantomJS

　　介绍

这期内容当中小编将会给大家带来有python爬关虫硒与PhantomJS,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

<强>硒

硒是一个网络的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同的是硒可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

硒可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。

硒自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们大多数时候需要让它内嵌在代码中运行,所以我们可以用一个叫PhantomJS的工具代替真实的浏览器。

可以从PyPI网站下载硒库https://pypi.python.org/simple/selenium,也可以用第三方管理器皮普用命令安装:pip安装

硒硒官方参考文档:http://selenium-python.readthedocs.io/index。html

<>强PhantomJS

PhantomJS是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。

如果我们把硒和PhantomJS结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理JavaScript,饼干,标题,以及任何我们真实用户需要做的事情。

注意:PhantomJS只能从它的官方网站http://phantomjs.org/download.html下载。因为PhantomJS是一个功能完善(虽然无界面)的浏览器而非一个Python库,所以它不需要像Python的其他库一样安装,但我们可以通过硒调用PhantomJS来直接使用。

PhantomJS官方参考文档:http://phantomjs.org/documentation

<强>快速入门

硒库里有个叫WebDriver的API.WebDriver有点儿像可以加载网站的浏览器,但是它可以像BeautifulSoup或者其选择器对他象一样用来查找页面元素,与页面上的元素进行交互(发送文本,点击等),以及执行其他动作来运行网络爬虫。

# !/usr/bin/python3 　　#,- *安康;编码:utf-8  - * 　　, 　　#,导入webdriver 　　得到selenium  import  webdriver 　　得到selenium.webdriver.common.keys  import 钥匙 　　import 时间 　　, 　　#,调用环境变量指定的PhantomJS浏览器创建浏览器对象,executable_path:指定PhantomJS位置 　　时间=driver  webdriver.PhantomJS (executable_path =, r" D: \ Program 文件\ phantomjs \ bin \ phantomjs") 　　, 　　#,get()方法会一直等到页面被完全加载,然后才会继续程序 　　driver.get (“http://www.baidu.com/") 　　, 　　#,获取页面名为包装器的id标签的文本内容 　　时间=data  driver.find_element_by_id (“wrapper")。text 　　, 　　#,打印获取的文本内容 　　打印(数据) 　　, 　　#,打印页面标题:百度一下,你就知道 　　打印(driver.title) 　　, 　　#,生成当前页面快照并保存 　　driver.save_screenshot (“baidu.jpg") 　　, 　　#,在百度搜索输入框中输入“蚂蚁” 　　driver.find_element_by_id (“kw") .send_keys(“蚂蚁“) 　　, 　　#,模拟点击“百度一下“按钮 　　driver.find_element_by_id (“su") .click () 　　#,等待2秒,让页面加载 　　time . sleep (2) 　　, 　　#,获取搜索后的页面快照 　　driver.save_screenshot(“蚂蚁.jpg") 　　, 　　#,打印网页渲染后的源代码 　　#,打印(driver.page_source) 　　, 　　#,获取当前页面饼干 　　print (driver.get_cookies ()) 　　, 　　+ #,Ctrl  a 全选输入框内容 　　driver.find_element_by_id (“kw") .send_keys (Keys.CONTROL,“a") 　　, 　　+ #,Ctrl  x 剪切输入框内容 　　driver.find_element_by_id (“kw") .send_keys (Keys.CONTROL,“x") 　　, 　　#,输入框重新输入内容 　　driver.find_element_by_id (“kw") .send_keys (“python") 　　, 　　#,模拟进入回车键 　　driver.find_element_by_id (“su") .send_keys (Keys.ENTER) 　　, 　　#,等待2秒,让页面加载 　　time . sleep (2) 　　, 　　#,清除输入框内容 　　driver.find_element_by_id (“kw") .clear () 　　, 　　#,获取新的快照 　　driver.save_screenshot (“python.jpg") 　　, 　　#,获取当前url 　　打印(driver.current_url) 　　, 　　#,关闭当前页面,如果只有一个页面,会关闭浏览器 　　driver.close () 　　, 　　#,关闭浏览器 　　driver.quit ()

python爬虫硒与PhantomJS