思路:
1.获取要爬取网站的url(复制网址)
2.设置param字典作为requests.get的参数,通过查看在网页打开f12在network里查看User-Agent,并作为参数
3.用requests.get(url,params=param,verify=False)来爬取网页信息,并设置r来接收响应
(verify=False主要用在带有https的网页)
r = requests.get(url,params=param,verify=False)
4.根据网页源代码按住ctrl+f搜索charset查看编码格式,将爬取的页面转码
如 r.encoding = "utf-8"
注意这里是等号而非函数调用的格式
5.若调用requests时出现警告可加上如下代码解决
requests.packages.urllib3.disable_warnings()
6.用一个参数接收函数BeautifulSoup遍历
page = BeautifulSoup(r.text,"html.parser")
7.用page调用函数搜索需要的标签
ul_Find = page.find("ul",参数2)[1]
参数2用来指明标签的属性,可以为字典{"属性1":"属性值1" , "属性2":"属性值2"}
或者可以用函数find_all,参数一样
区别是find只搜索第一条,find_all搜索全部
返回的是列表
8.如果要继续搜索,可以继续用find和find_all函数根据标签搜索
9.可以用.get("属性")获取 --->属性值
用.text获取标签里的内容
10.关闭响应
r.close()