小编给大家分享一下Python3爬虫利器Scrapy的安装方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!
Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有扭曲的14.0,lxml 3.4和0.14 pyOpenSSL。在不同的平台环境下,它所依赖的库也各不相同,所以在安装之前,最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。
<强> 1。相关链接
官方网站:https://scrapy.org
官方文档:https://docs.scrapy.org
PyPI: https://pypi.python.org/pypi/Scrapy
GitHub: https://github.com/scrapy/scrapy
中文文档:http://scrapy-chs.readthedocs.io
<强> 2。蟒蛇安装
这是一种比较简单的安装Scrapy的方法(尤其是对于Windows来说),如果你的Python是使用蟒蛇安装的,或者还没有安装Python的话,可以使用此方法安装,这种方法简单,省力。当然,如果你的Python不是通过蟒蛇安装的,可以继续看后面的内容。
关于水蟒的安装方式,可以查看1.1节,在此不再赘述。
如果已经安装好了蟒蛇,那么可以通过conda命令安装Scrapy,具体如下:
<强> 3。Windows下的安装
如果你的Python不是使用蟒蛇安装的,可以参考如下方式来一步步安装Scrapy。
<强>安装lxml
lxml的安装过程请参见1.3.1节,在此不再赘述,此库非常重要,请一定要安装成功。
<强>安装pyOpenSSL
在官方网站下载轮文件(详见https://pypi.python.org/pypi/pyOpenSSL下载)即可,如图1 - 76所示。
图1 - 76下载页面
下载后利用脉冲安装即可:
<强>安装扭曲
到http://www.lfd.uci.edu/gohlke pythonlibs/#扭曲下载轮文件,利用脉冲安装即可。
比如,对于Python 3.6版本,Windows 64位系统,则当前最新版本为扭曲? 17.5.0 ? cp36 ? cp36m ? win_amd64。whl,直接下载即可,如图1 - 77所示。
图1 - 77下载页面
然后通过pip安装:
<强>安装PyWin32
从官方网站下载对应版本的安装包即可,链接为:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/,如图1 - 78所示。
图1 - 78下载列表
比如对于Python 3.6版本,可以选择下载PyWin32 - 221. - amd64 py3.6获胜。exe,下载完毕之后双击安装即可。
注意,这里使用的是建造221版本,随着时间推移,版本肯定会继续更新,最新的版本可以查看https://sourceforge.net/projects/pywin32/files/pywin32/,到时查找最新的版本安装即可。
<强>安装Scrapy
安装好了以上的依赖库后,安装Scrapy就非常简单了,这里依然使用皮普,命令如下:
等待命令结束,如果没有报的错,就证明Scrapy已经安装好了。
<强> 4。Linux下的安装
在Linux下的安装方式依然分为两类平台来介绍。
<强> CentOS和Red Hat
在CentOS和红色的帽子下,首先确保一些依赖库已经安装,运行如下命令:
最后利用脉冲安装Scrapy即可:
<强> Ubuntu, Debian和深化版的
在Ubuntu, Debian和深化版的平台下,首先确保一些依赖库已经安装,运行如下命令:
然后利用脉冲安装Scrapy即可:
运行完毕后,就完成Scrapy的安装了。
