scrapy发送post请求

现在位置：首页 > scrapy发送post请求

龙行 2019-8-28 288 0评论本文已被百度收录点击查看详情

有时候我们在执行任务的时候需要发送post请求(比如模拟登陆),那么这时候就需要使用到Request的子类FromRequest来实现,如果想要爬虫在一开始的时候就发送post请求,那么就需要在爬虫类中重写start_requests(self)方法,并且不再抵用start_urls里面的url,如果不重写start_requests(self)那么爬虫会自动获取start_urls里面的url,文笔有限,自己看得懂就行:

实例:

# -*- coding: utf-8 -*-
import scrapy
from douban.items import DoubanItem
import re
from urllib import parse


class Douban250Spider(scrapy.Spider):
    name = 'login'
    allowed_domains = ['renren.com']
    start_urls = ['https://renren.com']

    def start_requests(self):
        url = "http://www.renren.com/PLogin.do"
        data = {"email":"970138074@qq.com", "password": "pythonspider"}
        request = scrapy.FormRequest(url, formdata=data, callback=self.parse_page)
        yield request

    def parse_page(self):
        request = scrapy.Request(url='http://www.renren.com/880151247/profile', callback=self.parse_profile)
        yield request

    def parse_profile(self, response):
        with open('dp.html', 'w', encoding='utf-8') as fp:
            fp.write(response.text)

评论一下分享本文赞助站长