活动地址:CSDN21天学习挑战赛()
活动时间以过
目录@作者 : SYFStrive
@创建时间 : 2022/8/8 10:42
: Rquests库
不: 点击跳转到上一篇续文濾
不: 感谢支持,先给大佬跳支舞
- 不Rquests VS Urlib对比
- 不分享Rquests 官方两句很逗的话
- 不Requests使用前准备
- 不Response之(一个类六个属性) VS Urllib之(一个类六个方法)
- 不Response案例 VS Urllib案例
- 不Response之get请求简单使用
- 不get请求小总结 :
- 不Response之详细翻译post请求简单使用
- 不post请求小总结 :
- ♂️代理使用
- 不Response网之Cookie登录(注意:学习爬取类似网站的思路)
- 打码平台简单使用
- 最后
- 更为便捷:因为requests可以直接构造get,post请求并发起,而urllib.request只能先构造get,post请求,再发起。
- requests是对urllib的进一步封装,因此在使用上显得更加的便捷,建议在实际应用当中尽量使用requests。
- 方法是死的,人是活的,这只是一种建议(做爬虫更需要大量的经验来应付复杂的网络情况。)希望大家一起探讨学习, 一起进步。
-
Requests 唯一的一个(就是只属于Python使用的库)的 Python HTTP 库,人类可以安全享用。
-
:、、、
- 文档如
- 官网文档:链接
- W3c中文文档:链接
- 安装
- 安装语法:pip install requests
- Response之(一个类六个属性)
- 类型 :models.Response
- r.text : 获取网站源码
- r.encoding :访问或定制编码方式
- r.url :获取请求的url
- r.content :响应的字节类型
- r.status_code :响应的状态码
- r.headers :响应的头信息
代码演示:
如下图(成功):
- 总结: print(requ.text) 结合Xpath、ba4、jsonpath…… 完成爬虫
Urllib链接:链接
不Response案例 VS Urllib案例- urllib:
- 一个类型以及六个方法
- get请求
- post请求 百度翻译 或 详细翻译
- 前后端分离 之 get请求
- 前后端分离 之 post请求
- cooki登录 微博等
- 代理
…… 案例链接
- requests
- 一个类以及六个属性
- get 请求
- post 请求
- 代理
- cookie 验证码
代码演示:
如下图(成功):
不get请求小总结 :- 参数使用params传递
- 参数无需encode编码
- 不需要请求对象的定制
- 请求资源(url)中的 ? 可以加也可以不加
- 仁者见仁智者见智喜欢用哪个都行
代码演示:
如下图(成功):
不post请求小总结 :- post请求 是不需要编解码
- post请求的参数是data
- 不需要请求对象的定制
说明:当我们快速爬取一个网站是,会导致网站崩溃 这时可以使用代理
代理网站:链接
代码演示:
如下图(爬取成功):
不Response网之Cookie登录(注意:学习爬取类似网站的思路)难点:验证码,找不到的动态参数(一般可以吃从源代码中找到……)(隐藏域)
cookie解题步骤:找到登录接口 分析接口
1、找登录接口:随便输入一个错误的秘密 如:
代码演示:
如下图(成功):
打码平台简单使用- 超级鹰:链接
- 完成相应的注册:关注公众号(第一次会送1000(这里强调一点只是学习没有别的哈))
- 使用一次会减掉对应的值
- 下载开发文档
- 把下面两个文件拉到对应的项目目录
- chaojiying.py文件如下
- 用到的ID如下生成
- 效果如:
本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家
点击跳转到我的Python专栏
下篇文章再见ヾ( ̄▽ ̄)ByeBye