python3-scrapy学习之shell配置agent
在cmd测试scrapy的时候进场会报500错误或者400错误
例如:
scrapy shell https://www.zhihu.com/question/269297730/answer/389393234
,这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢
只需要这样做:
scrapy shell -s USER_AGENT="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36" https://www.zhihu.com/question/269297730/answer/389393234
这样就可以了,如下图状态码返回200
- 版权申明:此文如未标注转载均为本站原创,自由转载请表明出处《龙行博客》。
- 本文网址:https://www.liaotaoo.cn/25.html
- 上篇文章:【教程】Photoshop安装及破解详细教程
- 下篇文章:推荐一本书-《Python爬虫开发与项目实战》

龙行2018-09-13 22:03回复
#1
46465465