栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 软件开发 > 后端开发 > Python

第八天 Python爬虫之Rquests库&&打码平台的简单使用

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

第八天 Python爬虫之Rquests库&&打码平台的简单使用


活动地址:CSDN21天学习挑战赛()


活动时间以过

@作者 : SYFStrive
@创建时间 : 2022/8/8 10:42
: Rquests库
不: 点击跳转到上一篇续文
不: 感谢支持,先给大佬跳支舞

目录
    • 不Rquests VS Urlib对比
    • 不分享Rquests 官方两句很逗的话
    • 不Requests使用前准备
    • 不Response之(一个类六个属性) VS Urllib之(一个类六个方法)
    • 不Response案例 VS Urllib案例
    • 不Response之get请求简单使用
    • 不get请求小总结 :
    • 不Response之详细翻译post请求简单使用
    • 不post请求小总结 :
    • ‍♂️代理使用
    • 不Response网之Cookie登录(注意:学习爬取类似网站的思路)
    • 打码平台简单使用
  • 最后

不Rquests VS Urlib对比
  1. 更为便捷:因为requests可以直接构造get,post请求并发起,而urllib.request只能先构造get,post请求,再发起。
  2. requests是对urllib的进一步封装,因此在使用上显得更加的便捷,建议在实际应用当中尽量使用requests。
  3. 方法是死的,人是活的,这只是一种建议(做爬虫更需要大量的经验来应付复杂的网络情况。)希望大家一起探讨学习, 一起进步。
不分享Rquests 官方两句很逗的话
  • Requests 唯一的一个(就是只属于Python使用的库)的 Python HTTP 库,人类可以安全享用。

  • :、、、

不Requests使用前准备
  • 文档如
  1. 官网文档:链接
  2. W3c中文文档:链接
  • 安装
  1. 安装语法:pip install requests
  • Response之(一个类六个属性)
  1. 类型 :models.Response
  2. r.text : 获取网站源码
  3. r.encoding :访问或定制编码方式
  4. r.url :获取请求的url
  5. r.content :响应的字节类型
  6. r.status_code :响应的状态码
  7. r.headers :响应的头信息

代码演示:

如下图(成功):

  • 总结: print(requ.text)  结合Xpath、ba4、jsonpath……  完成爬虫
不Response之(一个类六个属性) VS Urllib之(一个类六个方法)

Urllib链接:链接

不Response案例 VS Urllib案例
  • urllib:
  1. 一个类型以及六个方法
  2. get请求
  3. post请求 百度翻译 或 详细翻译
  4. 前后端分离 之 get请求
  5. 前后端分离 之 post请求
  6. cooki登录 微博等
  7. 代理
    …… 案例链接
  • requests
  1. 一个类以及六个属性
  2. get 请求
  3. post 请求
  4. 代理
  5. cookie 验证码
不Response之get请求简单使用

代码演示:

如下图(成功):

不get请求小总结 :
  1. 参数使用params传递
  2. 参数无需encode编码
  3. 不需要请求对象的定制
  4. 请求资源(url)中的 ? 可以加也可以不加
  5. 仁者见仁智者见智喜欢用哪个都行
不Response之详细翻译post请求简单使用

代码演示:

如下图(成功):

不post请求小总结 :
  1. post请求 是不需要编解码
  2. post请求的参数是data
  3. 不需要请求对象的定制
‍♂️代理使用

说明:当我们快速爬取一个网站是,会导致网站崩溃 这时可以使用代理

代理网站:链接

代码演示:

如下图(爬取成功):

不Response网之Cookie登录(注意:学习爬取类似网站的思路)

难点:验证码,找不到的动态参数(一般可以吃从源代码中找到……)(隐藏域)

cookie解题步骤:找到登录接口 分析接口

1、找登录接口:随便输入一个错误的秘密 如:


代码演示:

如下图(成功):

打码平台简单使用
  1. 超级鹰:链接
  2. 完成相应的注册:关注公众号(第一次会送1000(这里强调一点只是学习没有别的哈))
  3. 使用一次会减掉对应的值
  4. 下载开发文档
  5. 把下面两个文件拉到对应的项目目录
  6. chaojiying.py文件如下

  1. 用到的ID如下生成
  2. 效果如:

最后

本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家

点击跳转到我的Python专栏

下篇文章再见ヾ( ̄▽ ̄)ByeBye

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/1036948.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号