龙行博客

龙行博客,致力于个人经验分享源码分享,随笔文章
现在位置:首页 > 编程语言 > Python > python3-scrapy学习之shell配置agent

python3-scrapy学习之shell配置agent

龙行    Python    2018-8-20    218    1评论    百度未收录

在cmd测试scrapy的时候进场会报500错误或者400错误

例如:

scrapy shell https://www.zhihu.com/question/269297730/answer/389393234

agent

,这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢

只需要这样做:

scrapy shell -s USER_AGENT="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36https://www.zhihu.com/question/269297730/answer/389393234

这样就可以了,如下图状态码返回200

user_agent


评论一下 分享本文 赞助站长

赞助站长X

扫码赞助站长
联系站长
龙行博客
  • 版权申明:此文如未标注转载均为本站原创,自由转载请表明出处《龙行博客》。
  • 本文网址:https://www.liaotaoo.cn/25.html
  • 上篇文章:【教程】Photoshop安装及破解详细教程
  • 下篇文章:推荐一本书-《Python爬虫开发与项目实战》
  • python3 scrapy
挤眼 亲亲 咆哮 开心 想想 可怜 糗大了 委屈 哈哈 小声点 右哼哼 左哼哼 疑问 坏笑 赚钱啦 悲伤 耍酷 勾引 厉害 握手 耶 嘻嘻 害羞 鼓掌 馋嘴 抓狂 抱抱 围观 威武 给力
提交评论

清空信息
关闭评论
龙行
龙行2018-09-13 22:03回复
#1
46465465
快捷导航
联系博主
在线壁纸
给我留言
光羽影视
音乐欣赏
返回顶部