大量数据比较的问题

[agentwx]

有很多的日志文件，来自各个不同的组件。我先按照组件的不同，将对应的日志解析存放到sqlite数据库中，由于组件和组件之间，有一些数据是进行对比的，比如组件A中处理的数据（有一个唯一标识，并且每条记录都是不一样）在组件B中是不是存在（一个B会有多个A与之关联，也是根据这个唯一标识来判断）
需要处理的：由于一天两天，日志文件会很多，导致sqlite中的记录很多（差不多千万条记录），如何从这千万条记录中判断是否有丢记录。
目前的做法：比如上游组件A和下游组件B，将上游组件中日志的相关记录放到一个setA(python中的set),把下游组件中相关记录放到另外一个setB，用setB-setA.
问题：记录多的情况下，或导致memory error

请教各位大大有什么好的方法

[liprais]

把数据放在mysql或者postgresSQl里面，用join去比较
建好索引分区这种比较很快的