怎么对scrapy头部进行修改

这篇文章将为大家详细讲解有关怎么对scrapy头部进行修改,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

在没有任何配置的情况下,scrapy会对请求默认加上一些头部信息

scrapy会通过配置文件中的USER_AGENT配置,自动为头部添加用户代理,这条配置会被任何包含用户代理的配置覆盖

当请求经过下载器后,会被自动添加头部接受编码:gzip、缩小,会被任意包含接受编码的头部配置覆盖

 # DEFAULT_REQUEST_HEADERS={
　　# & # 39;接受# 39;:& # 39;text/html, application/xhtml + xml应用程序/xml; q=0.9 */*; q=0.8 & # 39;
　　# & # 39;接收语言# 39;:& # 39;en # 39;
　　#}

当这个配置属于注释状态时,头部被设置为接受:text/html, application/xhtml + xml应用程序/xml; q=0.9 */*; q=0.8与
接收语言:嗯,可以通过取消注释修改或增删其中的内容

优先级

<李>会被请求和中间件中的头部配置覆盖李 <李>可以覆盖scrapy自动添加的用户代理和接受编码
　　李,

可以在爬虫中通过custom_settings设置配置仅在当前爬虫生效

类XXXSpider (scrapy.Spider):
　　…
　　custom_settings={
　　DEFAULT_REQUEST_HEADERS={…}
　　}
　　…

当给引擎返回请求时,可以为他配置头部

类XXXDownloaderMiddleware
　　def process_request(自我,请求,蜘蛛):
　　request.headers [“key"]=价值
　　返回所有

 DOWNLOADER_MIDDLEWARES={
　　& # 39;project.middlewares.XXXDownloaderMiddleware& # 39;: 543,
　　}