龙行博客

走路看风景,经历看人生,岁月留痕迹,人生留轨迹,17的历史,18的豪情,时间的匆忙,人生的风景,放开心胸往前走,成功再远行,放开理想往前走,梦想再行动。
现在位置:首页 > 编程语言 > Python > scrapy爬取ygdy8

scrapy爬取ygdy8

龙行    Python    2019-8-26    69    0评论    本文已被百度收录点击查看详情
原目标地址:https://www.ygdy8.com/

创建spide文件

scrapy genspider -t crawl ygdy8   #

编写item

class VidelItem(scrapy.Item):
    url = scrapy.Field()

编写scrapy爬虫代码

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from phone.items import VidelItem
import re


class Ygdy8Spider(CrawlSpider):
    name = 'ygdy8'
    allowed_domains = ['ygdy8.com']
    start_urls = ['https://www.ygdy8.com/']

    rules = (
        Rule(LinkExtractor(allow=r'index.html')),    # 导航栏
        # follow=True 的意思是如果还有这个链接是否继续提取,True继续提取 False不继续提取
        Rule(LinkExtractor(allow=r'list_\d+_\d+.html'), follow=True),      # 下一页的正则链接  \d+ 代表多个数字
        Rule(LinkExtractor(allow=r'/\d+/\d+.html'), callback='parse_item', follow=False),      # 详情页信息  回调parse_item函数
    )

    def parse_item(self, response):
        # 打印提取出的网址
        item = VidelItem()
        item['url'] = re.findall('<a href="(.*?)">ftp', response.text)[0]
        yield item

这里没有用到管道保存,就手动了,有点懒  ,我们可以保存到数据库或者mongo

scrapy crawl ygdy8 -o video.json -s FEED_EXPORT_ENCODING=utf8


评论一下 分享本文 赞助站长

赞助站长X

扫码赞助站长
联系站长
龙行博客
  • 版权申明:此文如未标注转载均为本站原创,自由转载请表明出处《龙行博客》。
  • 本文网址:https://www.liaotaoo.cn/283.html
  • 上篇文章:scrapy 图片下载(一):三行代码实现scrapy图片下载
  • 下篇文章:scrapy爬取集号吧
  • python3 scrapy
挤眼 亲亲 咆哮 开心 想想 可怜 糗大了 委屈 哈哈 小声点 右哼哼 左哼哼 疑问 坏笑 赚钱啦 悲伤 耍酷 勾引 厉害 握手 耶 嘻嘻 害羞 鼓掌 馋嘴 抓狂 抱抱 围观 威武 给力
提交评论

清空信息
关闭评论
快捷导航
联系博主
在线壁纸
给我留言
光羽影视
音乐欣赏
返回顶部