如何对XML大文件中的数据去重？

目的 ：xml->mysql

困难 ：xml中可能存在重复数据，但xml文件有400+M

问题 ：如何去掉这些重复数据？

目前的想法 ：每次insert数据之前，把待插数据和表存数据进行比对，但感觉效率不高。

请教：有没有更好的办法？

python 去重


share
超级点钞机 9 years, 1 month ago

Answers

才 400M 就算是大文件了么……

先做去重再导入数据呗。才400M的数据，拿个 dict 存需要去重的 key 就可以了。


share
天才你好。。 answered 9 years, 1 month ago

Your Answer

Ask Question
Related questions

python 如何进行以下list 元素去重

请教文本去重的方法，另外python 打印文本文档开头多了个空格

一个去重SQL的思路

python 音频转换 amr转mp3

Python Code for the Web Server

python RE的match()和group()疑问