Django数据迁移
Python 09-17 19浏览 0评论django版本2.2.x版本,py版本为3.7版本创建django项目django-admin startproject mysite主要文件:manage.py Django项目里面的工具，通过它可以调用django shell和数据库等settings.py 项目默认设置,数据库信息,调试以及其它共组偶变量urls.py&nbs
推荐一个好用的ip代理池
Python 09-10 50浏览 0评论地址: https://github.com/Germey/ProxyPoolProxyPool此代理池在获取IP的时候使用了pop方法一次性使用，如果是想多次可用可以移步优化后的代理池：https://github.com/Python3WebSpider/ProxyPool，推荐使用。安装安装Python至少Python3.5以上安装Redis安装好之后将Redis服务开启配置代理池cd&nb
scrapy请求与响应
Python 09-06 62浏览 0评论Request对象:一个Request对象代表着一个HTTP请求，通常在Spider类中产生，然后传递给下载器，最后返回一个响应类原型：class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0,
scrapy内置图片和文件下载
Python 09-06 61浏览 0评论前面的文章写过一个图片下载,打宝石看到了更好的那肯定要记录下item Pipeline提供了一些可以重用的Pipeline，其中有filesPipeline和imagesPipeline，他们都实现了以下特性：避免重新下载最近已经下载过的数据指定存储的位置和方式此外，imagesPipeline还提供了二位的特性：将所有下载的图片转换成通用的格式（jpg）和模式（rgb）粗略图生成检测图像的宽/高
python:cookie转字典
Python 09-05 67浏览 0评论class transCookie: def __init__(self, cookie): self.cookie = cookie
[LINUX]centos7安装使用rz/sz命令
个人随笔 09-04 69浏览 0评论安装命令yum install -y lrzsz安装完后就可以使用rz and sz 命令上传下载上传rz 选择本地文件sz aaa.jpg 下载到本地
scrapy将windows安装所需包转移到centos7
Python 09-04 50浏览 0评论写爬虫都是在windows上面,如果要转移到linux上面去跑,那windows安装过的包就得重新一条一条再去安装一遍,特别麻烦,所以我们现在用一下方式:windows上面cmd进入项目文件下面执行pip freeze > requirements.txt上面这串命令会在dangqi8an项目下面生成一个.txt文件,里面包含当前项目所有所用到的包,如下然后进入
scrapy_redis分布式爬虫配置详情
Python 09-04 55浏览 0评论配置scrapy_redis要先安装pip install scrapy_redis爬虫文件引入from scrapy_redis.spiders from RedisSpider from scrapy_redis.spiders from RedisCrawlSpider #Cr
centos7配置redis开机自启动
个人随笔 09-03 57浏览 0评论1.在系统服务目录里创建redis.service文件vim /etc/systemd/system/redis.service写入以下内容：[Unit] Description=redis-server After=network.target [Service] Type=forking ExecStart=/usr/local/redis/bin/redis-
centos7安装redis
个人随笔 09-03 56浏览 0评论cd ~ //可以在家目录下面， wget http://download.redis.io/releases/redis-5.0.3.tar.gz解压:tar -zxvf redis-5.0.3.tar.gz编译cd redis-5.0.3 make安装make install PREFIX=/usr/local
centos7开启指定端口命令
个人随笔 09-03 63浏览 0评论开启端口[root@centos7 ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent查询端口号是否开启[root@centos7 ~]# firewall-cmd --query-port=80/tcp重启防火墙[root@centos7
cmder替换windows自带cmd,开发更高效
个人随笔 09-03 52浏览 0评论在做项目时，有些时候我想复制控制台上面的代码时，cmd有的时候复制粘贴很麻烦，Cmder则不会，并且Cmder可以分屏多开窗口，可以设置窗口颜色,字体大小，并且很多快捷键和谷歌浏览器操作类似,等等很多功能。官网下载地址http://cmder.net/原文地址: https://www.jianshu.com/p/5b7c985240a7
scrapy爬取mzitu美女图片
Python 08-31 54浏览 0评论scrapy爬取的美女图片,demo保存下吧先设置itemitems.py# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See document
scrapy使用快代理独享代理池
Python 08-29 66浏览 0评论import base64 class IPProxyDownloadMiddleware(object): def process_request(self, request, spider): p
标签
最新评论
热门文章
- 2018-10-24 7667浏览量 3评论
- 2019-06-13 7414浏览量 0评论
- 2018-10-12 4092浏览量 0评论
- 2019-05-29 2071浏览量 0评论
- 2018-11-13 2044浏览量 0评论
- 2018-11-24 1876浏览量 5评论
- 2019-01-04 1717浏览量 0评论
- 2018-11-14 1680浏览量 19评论
- 2019-02-28 1650浏览量 0评论
