如何处理百万条数据写入到数据库


在一个文本文件里存了一百万条数据,一行一条,

我需要把符合条件的每一行数据写入到数据库里,

按照以前的做法就是读取文件里的数据,然后存入数组,然后foreach数组进行一条一条的处理(符合条件的写入到数据库),

但是面对上百万条数据,如果我再继续这样做看来是自寻死路,可是处理大数据真是大姑娘我坐花轿可是头一回,一点经验也没有,

从网上找资料说用php进程/线程来解决,我对进程与线程是一头污水,请大牛们进来分享一下这方面的经验,是怎么处理大数据的,如果通过进程/线程又是怎么实现的呢?

apache php mysql nginx Linux

yu123 10 years, 2 months ago

百万条…不算大数字啊…

数据处理的瓶颈基本在IO,你可以直接单线程读写(特别是你还要做数据库插入,随便添加个index你的插入就成为瓶颈了)。

但是你为什么要存入数组啊同学!你准备把文件内容全部塞进内存吗啊?读一条,判断一次,OK就存数据库不OK就丢掉,就这么简单,存什么数组…

还有你真的准备用PHP做数据处理吗…

电信用户孙小美 answered 10 years, 2 months ago

Your Answer