龙行博客

走路看风景,经历看人生,岁月留痕迹,人生留轨迹,17的历史,18的豪情,时间的匆忙,人生的风景,放开心胸往前走,成功再远行,放开理想往前走,梦想再行动。
现在位置:首页 > 编程语言 > Python > python3-scrapy学习之保存到本地json

python3-scrapy学习之保存到本地json

龙行    Python    2018-8-10    523    1评论    百度未收录

多的不说直接上代码,做个记录

//scrapy Pipeline 保存数据到json

from scrapy.exporters import JsonItemExporter
class JsonWithEncodingPipeline(object):
    def __init__(self):
        self.file = open('article.json', 'wb')  # 必须二进制写入
        self.exporter = JsonItemExporter(self.file, encoding='utf-8', ensure_ascii=False)
        # 开始写入
        self.exporter.start_exporting()

    def open_spider(self, spider):
        print('爬虫开始')
        pass

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        # 完成写入
        self.exporter.finish_exporting()
        self.file.close()
		
		
#setting.py  管道开启JsonWithEncodingPipeline
ITEM_PIPELINES = {
   'articlepider.pipelines.JsonWithEncodingPipeline': 2,
记得一定要开启管道哦

评论一下 分享本文 赞助站长

赞助站长X

扫码赞助站长
联系站长
龙行博客
  • 版权申明:此文如未标注转载均为本站原创,自由转载请表明出处《龙行博客》。
  • 本文网址:https://www.liaotaoo.cn/10.html
  • 上篇文章:python3-scrapy学习之selenium(浏览器自动化测试框架)获取方式
  • 下篇文章:python3-scrapy学习之pycharm配置调试模式
  • python3 scrapy
挤眼 亲亲 咆哮 开心 想想 可怜 糗大了 委屈 哈哈 小声点 右哼哼 左哼哼 疑问 坏笑 赚钱啦 悲伤 耍酷 勾引 厉害 握手 耶 嘻嘻 害羞 鼓掌 馋嘴 抓狂 抱抱 围观 威武 给力
提交评论

清空信息
关闭评论
ACG资源
ACG资源2018-08-19 16:23回复
#1
学习了哈!!
快捷导航
联系博主
在线壁纸
给我留言
光羽影视
音乐欣赏
返回顶部