比 requests 更强大 Python 库，让你的爬虫效率提高一倍！
什么是协程？ 简单来说，协程是一种基于线程之上，但又比线程更加轻量级的存在。对于系统内核来说，协程具有不可见的特性，所以这种由 程序员自己写程序来管理 的轻量级线程又常被称作 "用户空间线程"。 协程比多线程好在哪呢？ 1. 线程的控制权在操作系统手中，而 协程的控制权完全掌握在用户自己手中，因此利用协程可以减少程序运行时的上下文切换，有效提高程序运行效率。2. 建立线程...
requests库常用函数使用——爬虫基础（1）
requests库常用函数使用——爬虫基础（1） 前言 所有的前置环境以及需要学习的基础我都放置在【Python基础(适合初学-完整教程-学习时间一周左右-节约您的时间)】中，学完基础咱们再配置一下Python爬虫的基础环境【看完这个，还...
requests爬虫
import requests #百度翻译 url = 'https://fanyi.baidu.com' #post请求体携带的参数，可通过开发者调试工具查看 #查看步骤：NetWork选项->Headers选项->Form Data data = {'from': 'zh', ...
requests库爬虫报错import ssl也没用？
requests库爬虫报错import ssl也没用 ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108) 代码 import requests import r...
Python实现urllib3和requests库使用 | python爬虫实战之五
python爬虫AJAX数据爬取和HTTPS访问 | python爬虫实战之四 urllib3库 https://urllib3.readthedocs.io/en/latest/标准库urllib缺少了一些关键的功能， 非标准库的第三方库urllib3提供了， 比如说连接池管理。 安装 $ pip install urllib3 之后，我们来借用之前的json数据来看一下： import ur....
基于bs4+requests的python爬虫伪装
要导入fake-useragent库，需要先用pip安装，安装命令：pip install fake-useragentparams是爬虫伪装的参数，数据类型为字典dict，里面有2个键值对，2个键：headers、proxies。headers的数据类型是字典，里面有1个键值对，键User-Agent对应的值数据类型为字符串，User-Agent中文翻译是用户代理。proxies的数据类型是字....
基于bs4+requests的豆瓣电影爬虫
1.爬取豆瓣电影前250详情页面 豆瓣电影前250详情页面持久化为250个htm文件，打包文件下载链接: https://pan.baidu.com/s/1_zlZJQJtl9pPEJUGYVMYaw 密码: ehrq 文件解压后的文件夹命名为doubanSourcePages，下面代码复制到py文件中，py文件和doubanSourcePages文件夹在同一级目录下。 from bs4 imp....
基于bs4+requests的蓝房网爬虫(进阶版)
1.代码可以直接运行,请下载anaconda并安装，用spyder方便查看变量 或者可以查看生成的excel文件 2.依赖库，命令行运行(WIN10打开命令行快捷键：windows+x组合键，然后按a键)： pip install BeautifulSoup4 pip install requests 3.爬取的网站是蓝房网(厦门)二手房，可以进入http://xm.esf.lanfw.com/....
基于bs4+requests的蓝房网爬虫
1.代码可以直接运行,请下载anaconda并安装，用spyder方便查看变量 或者可以查看生成的excel文件 2.依赖库，命令行运行(WIN10打开命令行快捷键：windows+x组合键，然后按a键)： pip install BeautifulSoup4 pip install requests 3.爬取的网站是蓝房网(厦门)，可以进入http://house.lanfw.com/xm/s....
基于bs4+requests的安居客爬虫
1.代码可以直接运行,请下载anaconda并安装，用spyder方便查看变量 或者可以查看生成的excel文件 2.依赖库，命令行运行(WIN10打开命令行快捷键：windows+x组合键，然后按a键)： pip install BeautifulSoup4 pip install requests 3.爬取的网站是安居客(厦门)网站，可以进入https://xm.fang.anjuke.co....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
大数据
大数据计算实践乐园，近距离学习前沿技术
+关注