龙行博客

走路看风景,经历看人生,岁月留痕迹,人生留轨迹,17的历史,18的豪情,时间的匆忙,人生的风景,放开心胸往前走,成功再远行,放开理想往前走,梦想再行动。
推荐阅读站长精心推荐阅读
现在位置:首页 > 编程语言 > Python
  • windows平台安装python scrapy

    windows平台安装python scrapy

    Python  01-02  271浏览  0评论

    在Windows平台上安装scrapy,直接采用pip install scrapy重来没有成功过,今天刚装完系统,安装了python3.6.4,刚好没有装scrapy,我就把这个安装过程记录下来,分享一下。 首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy lxml这

  • scrpay如何创建项目

    scrpay如何创建项目

    Python  01-02  296浏览  0评论

    从网页中刮取数据,首先需要创建Scrapy项目,用于编写存储代码。要创建一个新的目录下,运行下面的命令: scrapy startproject first_scrapy 好了就是这么简单,感觉有点少,不过很实用

  • python爬虫scrapy模拟登录demo

    python爬虫scrapy模拟登录demo

    Python  01-02  399浏览  0评论

    背景: 初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,但是忽略了很多的一个问题,有很多的网站为了反爬虫,除了需要高可用代理IP地址池外,还需要登录。例如知乎,很多信息都是需要登录以后才能爬取,但是频繁登录后就会出现验证码(有些网站直接就让你输入验证码),这就坑了,毕竟运维同学很辛苦,该反的还得反,那我们怎么办呢?这不说验证码的事儿,你可

  • Python 自动爬取B站视频

    Python 自动爬取B站视频

    Python  01-02  716浏览  0评论

    文件名自定义(文件格式为.py),脚本内容: #!/usr/bin/env python #-*-coding:utf-8-*- import requests import random import time def get_json(url): headers = { 'User-Agent': 'M

  • python实现端口扫描简单几步实现

    python实现端口扫描简单几步实现

    Python  01-02  293浏览  0评论

    一、常见端口扫描的原理 0、秘密扫描 秘密扫描是一种不被审计工具所检测的扫描技术。 它通常用于在通过普通的防火墙或路由器的筛选(filtering)时隐藏自己。 秘密扫描能躲避IDS、防火墙、包过滤器和日志审计,从而获取目标端口的开放或关闭的信息。由于没有包含TCP 3次握手协议的任何部分,所以无法被记录下来,比半连接扫描更为隐蔽。

  • python3爬取tx社招信息

    python3爬取tx社招信息

    Python  01-02  323浏览  0评论

    目标任务:爬取腾讯社招信息,需要爬取的内容为:职位名称,职位的详情链接,职位类别,招聘人数,工作地点,发布时间。 一、创建Scrapy项目 scrapy startproject Tencent 命令执行后,会创建一个Tencent文件夹,结构如下 二、编写item文件,根据需要爬取的内容定义爬取字段 # -*- coding: utf-8

  • python3发送短信验证码demo案例

    python3发送短信验证码demo案例

    Python  01-02  319浏览  0评论

    初学者,怎么使用短信包发送短信,下面是具体的事例demo 环境:虚拟机上centos7平台,python3.7版本; 第三方短信平台:榛子云短信(http://smsow.zhenzikj.com) SDK下载地址: http://smsow.zhenzikj.com/sdkdownload/python3.html 

  • python条件判断语法

    python条件判断语法

    Python  01-01  306浏览  0评论

    if判断 age = 50 if age >= 19: print('your age is', age) print('lt') if else条件判断 age = 9 if age >= 20: print('your age is', age) print('lt') else: print('your age i

  • python学习思维导图

    python学习思维导图

    Python  11-20  716浏览  8评论

    上篇文章给大家带来了php思维导图,现在来一份python的思维导图 获取更多请直接下载解压包地址: https://pan.baidu.com/s/1hPRbwDbnLNfgJanIAK9GnA [cv]92it[/cv]

  • Scrapy利用Spider爬取douyu颜值美女

    Scrapy利用Spider爬取douyu颜值美女

    Python  11-19  530浏览  0评论

    1、创建Scrapy项目 scrapy startproject douyu 2.进入项目目录,使用命令genspider创建Spider scrapy genspider douyumeinv "capi.douyucdn.cn" 3、定义要抓取的数据(处理items.py文件) # -*- coding: utf-8 -*- im

  • python3爬取美女图片

    python3爬取美女图片

    Python  11-13  488浏览  2评论

    在python2的基础上做了些修改,支持在python3环境下运行,附件改后缀py,运行即可,输入下图中类似画红圈的数字,每个数字对应了一个相册 import urllib.request import lxml.html import time import os import re   def serchIndex(name):  &nb

  • python3-scrapy学习之shell配置agent

    python3-scrapy学习之shell配置agent

    Python  08-20  587浏览  1评论

    在cmd测试scrapy的时候进场会报500错误或者400错误 例如: scrapy shell https://www.zhihu.com/question/269297730/answer/389393234 ,这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢 只需要这样

  • 推荐一本书-《Python爬虫开发与项目实战》

    推荐一本书-《Python爬虫开发与项目实战》

    Python  08-19  863浏览  1评论

    《Python爬虫开发与项目实战》     推荐给所有学习python的朋友们,这本书是企业大佬所写的很好,从基础到深入有时间的盆友可以去看看,很有拓展性这本书的配套源码和说明都在github里面有需要的可以学习学习。https://github.com/qiyeboy/SpiderBook

  • python3-scrapy学习之模拟知乎登录

    python3-scrapy学习之模拟知乎登录

    Python  08-13  1156浏览  0评论

    网上看到很多人模拟知乎登录,我也来写了个保存cookies from selenium import webdriver browser = webdriver.Chrome(executable_path="E:/tmp/chromedriver.exe") browser.get("https://www.zhihu.com/signi

  • python3-scrapy学习之selenium不加载图片

    python3-scrapy学习之selenium不加载图片

    Python  08-13  635浏览  0评论

    不加载图片写法是固定的直接用就可以了 #设置chromedriver不加载图片 chrome_opt = webdriver.ChromeOptions() #生成一个对象 prefs = {"profile.managed_default_content_settings.images":2} #更改这个配置wei2 不加载图片 chrome_opt.add_expe

快捷导航
联系博主
在线壁纸
给我留言
光羽影视
音乐欣赏
返回顶部