龙行博客

python3-scrapy学习之shell配置agent

在cmd测试scrapy的时候进场会报500错误或者400错误

例如：

scrapy shell https://www.zhihu.com/question/269297730/answer/389393234

，这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢

只需要这样做：

scrapy shell -s USER_AGENT="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36" https://www.zhihu.com/question/269297730/answer/389393234

这样就可以了，如下图状态码返回200

评论一下 分享本文

赞助站长

赞助站长X

联系站长

• 版权申明：此文如未标注转载均为本站原创，自由转载请表明出处《龙行博客》。
• 本文网址：https://www.liaotaoo.cn/25.html
• 上篇文章：【教程】Photoshop安装及破解详细教程
• 下篇文章：推荐一本书-《Python爬虫开发与项目实战》
• python3 scrapy