程序需要处理的数据量很大的时候该怎么做呢？

Question

如果程序一次需要处理的数据有很多，比如上千万条宠物信息，保存在txt中有100多个G，这时候需要对每条宠物数据做逐一处理，然后对处理结果分类综合再进行二次处理。
操作的时候，所有数据都同时放到内存中不太现实，请问这种情况下一般的处理思路是什么？
想的是做一个中间文件，第一次处理的时候，处理一条数据保存一条数据。但因为二次处理需要对所有的数据综合分析，所以还是要完全读取中间文件的数据。
刚做这方面的内容，请各位前辈多多指点，十分感谢。

Answer 1

如果综合分析这个过程满足结合律，或者部分满足结合律，可以考虑借鉴Hadoop中的partition过程，即：
从初始文件读入，分析后根据数据内容写到多个文件中，将需要统计分析的数据放到同一个文件中，然后逐个文件分析