其中有一个很容易让人忽视的点,那就是scrapy不支持在headers里携带cookie,否则请求将很难通过,例如通常我们请求 response = requests.get(url, headers=headers, verify=False)这时候cookie包含在 headers里,但是scrapy.Request 与scrapy.FormRequest并不支持这种写法,需要将headers与cookies拆分以字典的形式将两个参数分别传入scrapy的请求方法里,切勿使用headers={“cookie”: “*******”}格式传headers
当然,这只是其中的可能之一,笔者目前还没有遇到别的导致这样情况的原因,如有其他问题,可联系我一起探讨学习。纪念我的第一篇小分享@#@