• Tools
  • Articles
  • Q&A
  • Login
0 0

scrapy爬取的网址遇到404应该怎么处理?


scrapy爬取的网址,其中一些是404页面时,应该怎么处理?

scrapy

9 years, 11 months ago
じ☆veD壞づ

じ☆veD壞づ


share
じ☆veD壞づ 9 years, 11 months ago

Answers

Your Answer

Ask Question
Related questions

scrapy模拟登陆知乎出现重定向无法登陆问题

如何用scrapy 抓取js生成的页面?

scrapy 如何设置爬虫的深度和去除已经访问过的url?

对下面一段html信息使用linkextractor提取出来链接

通过infohash抓取torrent的疑问

scrapy爬虫,其中一个页面带有ajax请求和另外一个链接,这两个分支应该怎么处理?