• Tools
  • Articles
  • Q&A
  • Login
0 0

scrapy 如何设置爬虫的深度和去除已经访问过的url?


scrapy 如何设置爬虫深度?

scrapy

12 years ago
砧板什么牌子好

砧板什么牌子好


share
砧板什么牌子好 12 years ago

Answers

Your Answer

Ask Question
Related questions

scrapy模拟登陆知乎出现重定向无法登陆问题

如何用scrapy 抓取js生成的页面?

对下面一段html信息使用linkextractor提取出来链接

通过infohash抓取torrent的疑问

请问为什么这个爬虫没有爬出内容啊

scrapy爬虫,其中一个页面带有ajax请求和另外一个链接,这两个分支应该怎么处理?