scrapy爬虫怎么跳过没有反应的页面？

scrapy爬虫抓取某些页面的时候，页面没有反应，也不是404，也不知道有没有内容，反正就是用浏览器打开地址，什么有没有，一片空白，也不报错，一直就那样。这种页面怎么跳过？

scrapy python2.7


share
凉风吹过de夜 8 years, 8 months ago

Answers

配置超时时间?

http://doc.scrapy.org/en/latest/topics/settings.html#std :setting-DOWNLOAD_TIMEOUT


share
野生油库里 answered 8 years, 8 months ago

Your Answer

Ask Question
Related questions

python调试的时候，调试框里面中文显示乱码？

scrapy抓取的GBK编码的网页，怎么转为utf-8？

scrapy爬虫，其中一个页面带有ajax请求和另外一个链接，这两个分支应该怎么处理？

python2.7.5 安装scrapy遇到问题，file libcrypto.so.1.0....

scrapy:TypeError: expected string or buffer

scrapy爬虫在第二层的时候爬不全？