运行平台:Windows
Python版本:Python3.x
IDE:崇高text3
Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中.Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。
为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马.Scrapy可以起到事半功倍(甚至好几倍*。*)的效果,所以,学习Scrapy也就显得很有必要了。
1。直接使用指令pip3安装scrapy,发现有诸多错误。
-
<李>失败建筑轮lxml李
<李>需要微软Visual c++ 10.0
<李>失败建筑扭曲李
<李>无法找到vcvarsall.bat李
遇到的错误,如下图所示:
(1)在cmd中输入指令python,查看python的版本,如下:
从上图可以看出可以看出我的Python版本为python3.5.2 - 64。
(2)登陆http://www.lfd.uci.edu/~ gohlke/pythonlibs/Ctrl + F搜索Lxml,扭曲,Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示Lxml的版本为3.7.3,对应的python版本为3.5 -64位。我下载的版本如下图所示:
在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:
(4)依次执行如下命令:
。pip3安装轮
b。pip3安装lxml-3.7.3-cp35-cp35m-win_amd64.whl
c。pip3安装Twisted-17.1.0-cp35-cp35m-win_amd64.whl
d。pip3安装Scrapy-1.3.2-py2.py3-none-any.whl
这样Scrapy的安装就完成了,请忽略最后两行让我升级脉冲的信息。* . *
(5) Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。
的URL: https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
至此,大功告成,我们可以愉快的使用Scrapy了。
以上所述是小编给大家介绍的Python安装scrapy的正确姿势,希望对大家有所帮助,如果大家有任何疑问请给我留的言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!
