我需要采集某网站的内容页。先采集到链接，再通过链接获取内容页。但是，链接太多，一获取就超时，不得不按分类小量的获取。而分类有近300多个。手动去设置分类，也很慢。如何才能自动的去获取我想要的数据，而不会超时？请指个思路，谢谢！
不好意思，是我没说清楚。超时是504 Gateway timeout。 设置set_time_limit没用
php 数据采集
为何用php,可以尝试 scrapy ,很好用
采集知网里面论文信息
该选择哪个语言开发爬虫？
带验证码数据采集实现可能性
如何采集防采集网站的数据
PHP登录SSH到中兴交换机
如何高效的做数据覆盖操作
