如何在Windows中安装Scrapy模块 - 行业资讯 - 肥雀云

介绍

如何在Windows中安装Scrapy模块?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

<强> Scrapy简介

Scrapy, Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓web站取点并从页面中提取结构化的数据。

Scrapy用途广泛,可以用于数据挖掘,监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider,站点地图爬虫等,最新版本又提供了web2.0爬虫的支持。

<强>安装依赖

<李>

Scrapy安装依赖于以下几个Python库

<李>

lxml,一个有效的XML和HTML解析器

<李>

parsel、HTML/XML数据提取图书馆写> <李>

pip安装lxml

<李>

pip安装parsel

<李>

pip安装w3lib

<李>

pip安装扭曲

<李>

pip安装加密

<李>

pip安装pyOpenSSL

其他的安装都很顺利,就是在安装<代码>扭曲> Microsoft Visual c++, 14.0, is 只需要Get it with “Microsoft Visual c++, Build Tools":, http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/gohlke pythonlibs/#扭曲

下载到一个目录,然后用

<代码> pip安装Twisted-17.9.0-cp36-cp36m-win32。whl

之后再用下面的命令安装就可以了

<代码> pip安装Scrapy

在命令行中输入<代码> Scrapy>

如何在Windows中安装Scrapy模块

关于如何在Windows中安装Scrapy模块问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注行业资讯频道了解更多相关知识。