为什么数据分析一般用到java,而不是使用hadoop,flume,hive的api使用php来处理相关业务?
为什么数据分析一般用到java,而不是使用hadoop,flume,hive的api使用php来处理相关业务?
音无丶伊御
8 years, 10 months ago
Answers
像传统的关系数据库,进行数据分析的时候难道不是直接使用SQL吗?
如果要分析Web服务器日志,用PHP也完全可以呀,file()读入文件,每行就是数组的一个元素,然后通过分割或者正则匹配就能拿到每一列的内容.如果文件很大,可以调用命令split进行切分后再操作.
个人认为,对于数据库都装不下的"大数据"的场景,能遇到的人和公司也不多.
对于一些文本数据,直接应用Linux Shell里的cat/find/grep/awk/sed/sort/uniq/cut/wc/split/xargs也是一种快速的方法.
无关风月葬花
answered 8 years, 10 months ago