龙行博客

龙行博客,致力于个人经验分享源码分享,随笔文章
推荐阅读站长精心推荐阅读
现在位置:首页 > 编程语言 > Python
  • python学习思维导图

    python学习思维导图

    Python  11-20  72浏览  1评论

    上篇文章给大家带来了php思维导图,现在来一份python的思维导图 获取更多请直接下载解压包地址: https://pan.baidu.com/s/1hPRbwDbnLNfgJanIAK9GnA [cv]92it[/cv]

  • Scrapy利用Spider爬取douyu颜值美女

    Scrapy利用Spider爬取douyu颜值美女

    Python  11-19  76浏览  0评论

    1、创建Scrapy项目 scrapy startproject douyu 2.进入项目目录,使用命令genspider创建Spider scrapy genspider douyumeinv "capi.douyucdn.cn" 3、定义要抓取的数据(处理items.py文件) # -*- coding: utf-8 -*- im

  • python3-scrapy学习之shell配置agent

    python3-scrapy学习之shell配置agent

    Python  08-20  219浏览  1评论

    在cmd测试scrapy的时候进场会报500错误或者400错误 例如: scrapy shell https://www.zhihu.com/question/269297730/answer/389393234 ,这是由于我们没有配置USER-AGENT 那么我们在cmd里面怎么使用user-agent呢 只需要这样

  • 推荐一本书-《Python爬虫开发与项目实战》

    推荐一本书-《Python爬虫开发与项目实战》

    Python  08-19  302浏览  1评论

    《Python爬虫开发与项目实战》     推荐给所有学习python的朋友们,这本书是企业大佬所写的很好,从基础到深入有时间的盆友可以去看看,很有拓展性这本书的配套源码和说明都在github里面有需要的可以学习学习。https://github.com/qiyeboy/SpiderBook

  • python3-scrapy学习之模拟知乎登录

    python3-scrapy学习之模拟知乎登录

    Python  08-13  490浏览  0评论

    网上看到很多人模拟知乎登录,我也来写了个保存cookies from selenium import webdriver browser = webdriver.Chrome(executable_path="E:/tmp/chromedriver.exe") browser.get("https://www.zhihu.com/signi

  • python3-scrapy学习之selenium不加载图片

    python3-scrapy学习之selenium不加载图片

    Python  08-13  208浏览  0评论

    不加载图片写法是固定的直接用就可以了 #设置chromedriver不加载图片 chrome_opt = webdriver.ChromeOptions() #生成一个对象 prefs = {"profile.managed_default_content_settings.images":2} #更改这个配置wei2 不加载图片 chrome_opt.add_expe

  • python3-scrapy学习之selenium自动下拉

    python3-scrapy学习之selenium自动下拉

    Python  08-13  277浏览  0评论

    有很多需求需要我们控制页面自动下拉 可以用到这个selenium的browser.execute_script里面编写JS控制页面下拉 browser.get("https://www.oschina.net/blog") for i in range(10): browser.execute_script("window.scrollTo(0, docum

  • python-selenium对应chrome版本下载

    python-selenium对应chrome版本下载

    Python  08-13  270浏览  0评论

    chromedriver版本 支持的Chrome版本 v2.41 v67-69 v2.40 v66-68

  • python3-scrapy学习之初识selenium

    python3-scrapy学习之初识selenium

    Python  08-12  377浏览  0评论

    第一次接触selenium感觉发现新大陆一样,做个记录 简单实用方式。 from selenium import webdriver from scrapy.selector import Selector #引入chromedriver.exe # browser = webdriver.Chrome(executable_path='G:\chromedriver.exe

  • python3-scrapy学习之selenium(浏览器自动化测试框架)获取方式

    python3-scrapy学习之selenium(浏览器自动化测试框架)获取方式

    Python  08-12  398浏览  0评论

    今天开始学习selenium : 1 .前提条件先来说说什么是selenium     selenium是一个web应用程序测试的工具,直接运行在浏览器中,使用javascript模拟用户的点击,输入,打开,验证等操作,由于运行     在浏览器中,所以目前市面上大多数浏览器基

  • python3-scrapy学习之保存到本地json

    python3-scrapy学习之保存到本地json

    Python  08-10  412浏览  1评论

    多的不说直接上代码,做个记录 //scrapy Pipeline 保存数据到json from scrapy.exporters import JsonItemExporter class JsonWithEncodingPipeline(object): def __init__(self): self.file = open('article

  • python3-scrapy学习之pycharm配置调试模式

    python3-scrapy学习之pycharm配置调试模式

    Python  08-10  375浏览  0评论

    最近学习py用上了pycharm 调试代码很麻烦每次都要开cmd 学到一招:只需要咋项目目录下面新建个py文件 main.py # -*- coding: utf-8 -*- from scrapy.cmdline import execute import sys import os # print(os.path.abspath(__fi

快捷导航
联系博主
在线壁纸
给我留言
光羽影视
音乐欣赏
返回顶部