请问C＃中，我有72246452条数据的TXT，我应该要如何去除重复值，并显示有哪些重复呢？

Question

请问C＃中，我有72246452条数据的TXT，我应该要如何去除重复值，并显示有哪些重复呢？
我用一般的方法会显示内存错误讯息，怕误入歧途，因此想先问好的方法，谢谢

Answer 1

這是我最後的寫法，正常讀取7000萬筆數據，3分鐘以內可以跑完，沒有回報任何錯誤。

List List陣列 = new List ();
int 要跑讀取的第1行 = 0;
int 要跑到讀取的最大值 = 72246500;
var lines = File.ReadLines(@"自動化瀏覽器BUG檢視.txt", System.Text.Encoding.UTF8).Skip(要跑讀取的第1行).Take(要跑到讀取的最大值);
//var lines = File.ReadLines(@"TEST.txt", System.Text.Encoding.UTF8).Skip(要跑讀取的第1行).Take(要跑到讀取的最大值);
var iter = lines.GetEnumerator();
while (iter.MoveNext())
{
List陣列.Add(iter.Current);
}
Console.WriteLine(List陣列.ToList().Count());
HashSet hs = new HashSet(List陣列);
//hs.ToList().ForEach(item => Console.WriteLine(item));
Console.WriteLine(hs.ToList().Count());

                    另外也需要把開發平台改成x64位元才不會有內存溢出