千万级别的文件比对

Question

两个文件都有千万级数据，怎么做文件比对，找出相同的和不同的内容？

Answer 1

看看这个shell有没有用
[code="shell"]#只在$1中有的行

awk '{if(ARGIND==1) {v[$0]}else{if($0 in v) delete v[$0]}}END{for(i in v) print i}' $1 $2

#同时在$1和$2中的行

awk '{if(ARGIND==1) {v[$0]}else{if($0 in v) print $0}}' $1 $2 [/code]