TP5+web-msg-sender实现即时推送(即时站内信)
PHP 10-05 47浏览 0评论1.下载web-msg-sender 下载链接。并解压缩到任意目录(你可以放到tp5目录里，也可以放到www目录)2.启动：linux系统cd到到web-msg-sender目录里运行php start.php start -dwindows系统进入到框架目录里双击start_for_win.bat文件启动。3. 服务器推送/application/lib/event/PushEvent
scrapy使用阿布云代理
Python 10-03 48浏览 0评论这个操作网上很多了，我还是保存下吧，阿布云官网：http动态版middlewars添加代理中间件类import base64 """ 阿布云ip代理配置，包括账号密码 """ proxyServer = " proxyUser = "
Mysql-hash取模分表
MySql 09-22 66浏览 0评论直接demo/** * 添加数据 */ public function add() { //添加uuid $sql = 'insert into article_create_id
Mysql后期无奈分表（一）Merge
MySql 09-22 44浏览 0评论一：介绍：merge是Mysql最简单的一种分表，Mysql自带的一个分表功能，Merge表并不保存数据，Merge表和分表是对应映射关系。二：优缺点：优点：使用简单，不用修改程序代码，最多我们修改一下Merage表名就可以兼容以前程序（修改表名的时候一定要备份以前的，以防万一。）缺点：a：只能使用MyISAM引擎b：很难平均分配，比如Merage设置插入条件，要么只能插入到第一个表，要么插入到最
Django数据迁移
Python 09-17 73浏览 0评论django版本2.2.x版本,py版本为3.7版本创建django项目django-admin startproject mysite主要文件:manage.py Django项目里面的工具，通过它可以调用django shell和数据库等settings.py 项目默认设置,数据库信息,调试以及其它共组偶变量urls.py&nbs
推荐一个好用的ip代理池
Python 09-10 87浏览 0评论地址: https://github.com/Germey/ProxyPoolProxyPool此代理池在获取IP的时候使用了pop方法一次性使用，如果是想多次可用可以移步优化后的代理池：https://github.com/Python3WebSpider/ProxyPool，推荐使用。安装安装Python至少Python3.5以上安装Redis安装好之后将Redis服务开启配置代理池cd&nb
scrapy请求与响应
Python 09-06 98浏览 0评论Request对象:一个Request对象代表着一个HTTP请求，通常在Spider类中产生，然后传递给下载器，最后返回一个响应类原型：class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0,
scrapy内置图片和文件下载
Python 09-06 115浏览 0评论前面的文章写过一个图片下载,打宝石看到了更好的那肯定要记录下item Pipeline提供了一些可以重用的Pipeline，其中有filesPipeline和imagesPipeline，他们都实现了以下特性：避免重新下载最近已经下载过的数据指定存储的位置和方式此外，imagesPipeline还提供了二位的特性：将所有下载的图片转换成通用的格式（jpg）和模式（rgb）粗略图生成检测图像的宽/高
python:cookie转字典
Python 09-05 101浏览 0评论class transCookie: def __init__(self, cookie): self.cookie = cookie
scrapy将windows安装所需包转移到centos7
Python 09-04 74浏览 0评论写爬虫都是在windows上面,如果要转移到linux上面去跑,那windows安装过的包就得重新一条一条再去安装一遍,特别麻烦,所以我们现在用一下方式:windows上面cmd进入项目文件下面执行pip freeze > requirements.txt上面这串命令会在dangqi8an项目下面生成一个.txt文件,里面包含当前项目所有所用到的包,如下然后进入
scrapy_redis分布式爬虫配置详情
Python 09-04 100浏览 0评论配置scrapy_redis要先安装pip install scrapy_redis爬虫文件引入from scrapy_redis.spiders from RedisSpider from scrapy_redis.spiders from RedisCrawlSpider #Cr
scrapy爬取mzitu美女图片
Python 08-31 88浏览 0评论scrapy爬取的美女图片,demo保存下吧先设置itemitems.py# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See document
scrapy使用快代理独享代理池
Python 08-29 116浏览 0评论import base64 class IPProxyDownloadMiddleware(object): def process_request(self, request, spider): p
scrapy实现ip代理池
Python 08-29 114浏览 0评论需要在ip代理网站爬取有用的ip保存在数据库中import requests from scrapy.selector import Selector import pymysql conn = pymysql.connect(host = '127.0.0.1', use
标签
最新评论
热门文章
- 2018-10-24 8497浏览量 3评论
- 2019-06-13 8412浏览量 0评论
- 2018-10-12 4468浏览量 0评论
- 2019-05-29 2383浏览量 0评论
- 2018-11-13 2187浏览量 0评论
- 2018-11-24 2095浏览量 5评论
- 2019-02-28 1865浏览量 0评论
- 2019-01-04 1806浏览量 0评论
- 2018-11-14 1773浏览量 19评论
