psycopg2 大量数据插入/更新性能优化


在写一个数据统计的脚本,基本流程是从一个表中取出数据(现在每次取约10万条记录),在内存中进行一些整理和计算,再插入/更新到另外一张表中,每次经过整理的需要插入/更新的数据大约有几万到十几万条。
源数据表和目的数据表都事先建好了索引,查询操作都是通过索引查找。
因为用的数据库是postgresql 9.4, 不支持upsert功能,
最开始在插入数据时,对于每条要插入的数据,先select 判断数据是否存在,存在则update,否则insert
后来做了一些优化,在select判断之后用两个list分别保存要插入和更新的数据,然后在list缓存比较多的数据之后用executemany一次性插入或者更新数据,再执行commit,但是性能还是不够理想,请问有什么好的建议吗?

PostgreSQL python 数据库 数据库性能优化 psycopg

kqm141 8 years, 8 months ago
  1. wiki 上不少 upsert 的解决方案。你看看有没有适合的?

  2. 你的提交频率如何?

  3. 要不要试试使用存储过程来计算?

  4. masterized view?

恋.C.c answered 8 years, 8 months ago

Your Answer