栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 软件开发 > 后端开发 > Python

个人爬虫学习小结(BeautifulSoup篇)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

个人爬虫学习小结(BeautifulSoup篇)

思路:

1.获取要爬取网站的url(复制网址)

2.设置param字典作为requests.get的参数,通过查看在网页打开f12在network里查看User-Agent,并作为参数

3.用requests.get(url,params=param,verify=False)来爬取网页信息,并设置r来接收响应

(verify=False主要用在带有https的网页)

r = requests.get(url,params=param,verify=False)

4.根据网页源代码按住ctrl+f搜索charset查看编码格式,将爬取的页面转码

如 r.encoding = "utf-8"

注意这里是等号而非函数调用的格式

5.若调用requests时出现警告可加上如下代码解决

requests.packages.urllib3.disable_warnings()

6.用一个参数接收函数BeautifulSoup遍历

page = BeautifulSoup(r.text,"html.parser")

7.用page调用函数搜索需要的标签

ul_Find = page.find("ul",参数2)[1]

参数2用来指明标签的属性,可以为字典{"属性1":"属性值1" , "属性2":"属性值2"}

或者可以用函数find_all,参数一样

区别是find只搜索第一条,find_all搜索全部

返回的是列表

8.如果要继续搜索,可以继续用find和find_all函数根据标签搜索

9.可以用.get("属性")获取   --->属性值

        用.text获取标签里的内容

10.关闭响应

r.close()

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/280155.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号