scrapy使用阿布云代理
这个操作网上很多了，我还是保存下吧，
阿布云官网：http动态版
middlewars添加代理中间件类
import base64
""" 阿布云ip代理配置，包括账号密码 """
proxyServer = "
proxyUser = "HWFHQ5YP14Lxxx"
proxyPass = "CB8D0AD56EAxxx"
# for Python3
proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")
class ABProxyMiddleware(object):
""" 阿布云ip代理配置 """
def process_request(self, request, spider):
request.meta["proxy"] = proxyServer
request.headers["Proxy-Authorization"] = proxyAuthsettings打开中间件
'xpc.middlewares.ABYProxyMiddleware': 542,
注意一点
阿布云动态ip默认是1秒钟请求5次，（可以加钱，购买多次）。所以，当他是默认5次的时候，我需要对爬虫进行限速，还是在settings.py中，空白处新增如下代码：
再添加两个配置
""" 启用限速设置 """ AUTOTHROTTLE_ENABLED = True AUTOTHROTTLE_START_DELAY = 0.2 # 初始下载延迟 DOWNLOAD_DELAY = 0.2 # 每次请求间隔时间
- 版权申明：此文如未标注转载均为本站原创，自由转载请表明出处《龙行博客》。
- 本文网址：https://www.liaotaoo.cn/309.html
- 上篇文章：抓包软件Fiddler最全配置HTTPS
- 下篇文章：Mysql-hash取模分表
