网页抓取:selenium or X ?


有个需求是从一个网站上去抓取数据,但是这个网站貌似限制了爬虫,所以写 python 的人用 selenium 这个东西的 webdriver(我不太懂)去实现的。在本地(win7)测试没问题。但运行时会打开 firefox 图形界面。

问题来了。上传到服务器(centos),修改配置,像 FirefoxBinary 这个还好说,关键是 FirefoxProfile 这个完全搞不起来。开始是不知道在哪,gg了一下自己准备创建一个,但,貌似是没有安装图形界面的缘故,创建失败,如图:
error

我该怎么办?
1. 继续搞这个 profile(给服务器安装图形界面?)
2. 让 python coder 重新想办法?


说明:

更新了下标题,其实我不是问怎么装图形界面。而是分析两种方案的优劣,以及有没有更好的办法?

firefox python selenium centos

灵梦的后宫 10 years, 10 months ago

CentOS可以装图形界面。

不过selenium支持headless模式,没有必要为跑selenium装图形界面,额外占用内存。只需要装一个xvfb,配置一下即可。

vodevil answered 10 years, 10 months ago

Your Answer