scrapy部署分布式爬虫的时候,我复制别人文章时,发现很多人代码这里都搞错了,在settings.py文件中DUPEFILTER_CLASS参数设置错误。
修改如下:
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
scrapy部署分布式爬虫的时候,我复制别人文章时,发现很多人代码这里都搞错了,在settings.py文件中DUPEFILTER_CLASS参数设置错误。
修改如下:
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"