C#高效比較兩個DataTable數據差異化的方法實現

Posted on by

假如有兩個DataTable表格分別是dt1,dt2,dt2中有些數據跟dt1一樣，現在想找出dt2的數據在dt1中不存在的數據集（換句話也可以說dt2刪除已經存在於dt1中的數據），傳統思想可能直接用循環找差異，這種是非常低效的做法，數據量少無所謂，數據量大，簡直要瞭程序猿老命，既然直接循環查找不可取，那麼有沒有高效一點的做法呢（廢話，湊數字用，當然是有瞭），C# linq 中IEnumerable 提供瞭Expect（差集）的方法，眾所周知，DataTable提供瞭AsEnumerable()的轉換方法，能把DataTable轉成IEnumerable<DataRow>，這樣我們就能linq 來處理DataTable瞭，如果dt1和dt2的結構相同，則可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())來獲得兩個表格的差異，當然這個結果的返回是一個IEnumerable<DataRow>，如果想要一個DataTable結果，可以直接調用方法CopyToDataTable()(該方法調用之前需要判斷結果集是否沒有數據，沒有數據會報錯）

var list=dt2.AsEnumerable().Except(dt1.AsEnumerable());
DataTable resultDt;
if(list.Count()>0)
    resultDt=list.CopyToDataTable();
else
    resultDt=dt2.Clone();//克隆個結構；

如果dt1,dt2的結構不一樣，那麼就不能直接用Except方法來處理瞭，這裡我的建議是用linq中的join方法，先把dt1,dt2兩個表做一個內連接的關聯處理，找出dt2跟dt1相同的部分，然後再利用dt2跟dt2於dt1相同的部分做一次差集處理，就能得出dt2和dt1的差集，直接上代碼，代碼演示用的是linqpad工具，其中的Dump方法是用來輸出打印的，vs調試的話，請自行修改成Console，測試數據用瞭50w,60w如果單靠差集處理，是秒級別

void Main()
{
	Stopwatch sw = new Stopwatch();
	sw.Start();
	var dt1 = CreateDt(500000, 3);
	var dt2 = CreateDt(600000, 5);
	sw.Stop();
	sw.Elapsed.Dump("生成兩個表的時間");
	
	sw.Restart();
	//dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的結構相同，則直接差集處理得出結果
	var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//內連接，查詢兩個表格相同部分，再利用相同部分做差集處理得出結果就是dt2在dt1中的差集
	var result = dt2.AsEnumerable().Except(dt).ToList();
	sw.Stop();
	result.Count.Dump("差集結果條數");
	sw.Elapsed.Dump("查詢差異的時間");
	sw.Restart();
	DataTable resultDt;
	if (result.Count() > 0)
	resultDt = result.CopyToDataTable();
	else
		resultDt = dt2.Clone();
	
	sw.Stop();
	sw.Elapsed.Dump("轉成DataTable耗時：");
 
}
DataTable CreateDt(int row, int count)
{
	var dt = new DataTable();
	for (int i = 0; i < count; i++)
		dt.Columns.Add("col" + i);
	var rnd = new Random();
	for (int i = 0; i < row; i++)
	{
		var num = rnd.Next(0, row);
		dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray());
	}
	return dt;
}

 結果圖：

從結果上看，關聯和差異處理共耗時1秒左右，這個速度還是能接受的

到此這篇關於C#高效比較兩個DataTable數據差異化的方法實現的文章就介紹到這瞭,更多相關C# 兩個DataTable數據差異化內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：