硒是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome, Firefox, Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器。
此处使用了硒的插件使用的是火狐浏览器信息存储到csv表格里面
前面详细不多讲如果条件不满足自行百度安装
# - * -编码:utf - 8 - *
”“”
创建)
#火狐
browser1=webdriver.Firefox (executable_path=癵eckodriver”)
浏览器=browser1 def browser_1 (url):
#打开网页
browser.get (url)
返回(浏览器)
浏览器=browser_1 (wangzhi)
#通过类找到元素
# input_guanggao=browser.find_element_by_class_name (“close-btn”)
#点一下
# input_guanggao.click ()
#输入
# input_txt.send_keys (“111”)
#翻页键
# next_page=browser.find_element_by_class_name(“下一个”)
#数据提取
url=[]
核心=1
因为我在范围(yema-1):
打印(我)
#将滚动条拖到底部
js=" var q=document.documentElement.scrollTop=100000 "
browser.execute_script (js)
time . sleep (random.randint (5、10))
商店=browser.find_elements_by_class_name (“sellPoint”)
在商店购物:
#打印(店)
#打印(“*”* 10)
url=shop.get_attribute (“href”)
vip="/0000000000/"
如果贵宾不是在url:
urls.append (url)
打印(我”——“核心”——“,url)
核心+=1
打印(我,“页”)
我+=1
js=" var q=document.documentElement.scrollTop=500 "
browser.execute_script (js)
time . sleep (random.randint (3、5))
next_page=browser.find_element_by_class_name(“下一个”)
time . sleep (random.randint (3、5))
next_page.click ()
time . sleep (random.randint (5、8))
打印(“- - -”* 10)
ul的网址:
browser_shop=browser_1 (ul)
#公司名称
chead_companyName=browser_shop.find_element_by_id (“chead_companyName”)
#电话
chead_telPhone=browser_shop.find_element_by_id (“chead_telPhone”)
#地址
chead_companyAddress=browser_shop.find_element_by_id (“chead_companyAddress”)
browser_shop.find_element_by_class_name (“storname”) .click ()
# chead_telPhone.find_element_by_xpath("//*[包含(文本()、“13816391436”)]”).click ()
公司名称=chead_companyName.text
如果公司名称==啊?
公司名称="零"
telPhone=chead_telPhone.text
如果telPhone==啊?
telPhone="零"
companyAddress=chead_companyAddress.text
如果companyAddress==啊?
companyAddress="零"
打印(公司名称,“==?telPhone,“==? companyAddress)
csv_writer.writerow([公司名称、telPhone companyAddress])
# browser_shop.close ()
f.close ()
打印(“结束”)
以上所述是小编给大家介绍的Python3使用硒插件爬取苏宁商家联系电话,希望对大家有所帮助,如果大家有任何疑问请给我留的言,小编会及时回复大家的。在此也非常感谢大家对网站的支持。
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
