在使用urllib中的request方法时,系统返回HTTPerror,但是没有给出错误代码
重新写了一段代码,用来显示具体错误:
# 异常处理 from urllib import request,error try: response = urllib.request.urlopen('https://movie.douban.com/top250') except error.HTTPError as e: print(e.reason,e.code,e.headers,sep='n') # 使用httperror判断
这里访问的是豆瓣,结果返回错误418,查了下是反爬虫的。
处理办法:不是一次请求整个网页,而是加入header选项,只读取头部,如下:
第二个问题是,如何读取多页的信息,此时通过观察,得知douban的页面链接中包含了页码信息,用for循环配合页码即可: