Golang 獲取文件md5校驗的方法以及效率對比
近期有一個需求:獲取多個文件 md5 校驗和判斷是否存在重復文件,因為文件數量較多,有的文件還比較大,需要處理的文件還沒有到位,我就考慮瞭一下效率的問題。
目前我已知的 Golang 中獲取 md5 校驗和的方法有兩個
這裡直接給出實現源碼。
package main import ( "crypto/md5" "flag" "fmt" "io" "io/ioutil" "os" ) var which = flag.Bool("which", true, "") var path = flag.String("path", "", "") var cnt = flag.Int("cnt", 100, "") func aaa() { f, err := os.Open(*path) if err != nil { fmt.Println("Open", err) return } defer f.Close() body, err := ioutil.ReadAll(f) if err != nil { fmt.Println("ReadAll", err) return } md5.Sum(body) //fmt.Printf("%x\n", md5.Sum(body)) } func bbb() { f, err := os.Open(*path) if err != nil { fmt.Println("Open", err) return } defer f.Close() md5hash := md5.New() if _, err := io.Copy(md5hash, f); err != nil { fmt.Println("Copy", err) return } md5hash.Sum(nil) //fmt.Printf("%x\n", md5hash.Sum(nil)) } func main() { flag.Parse() for i := 0; i < *cnt; i++ { if *which { aaa() } else { bbb() } } }
還有可供參考的獲取 md5 校驗和的 Shell 命令
md5 -- calculate a message-digest fingerprint (checksum) for a file md5 [-pqrtx] [-s string] [file ...]
測試文件是公司項目的日志文件
banjakukutekiiMac:shell panshiqu$ ls -an | grep by -rw-r--r-- 1 501 20 7285957 11 17 16:14 by.out banjakukutekiiMac:shell panshiqu$ cp by.out by2.out banjakukutekiiMac:shell panshiqu$ cat by.out >> by2.out banjakukutekiiMac:shell panshiqu$ ls -an | grep by -rw-r--r-- 1 501 20 7285957 11 17 16:14 by.out -rw-r--r-- 1 501 20 14571914 11 17 17:03 by2.out
下面效率展示
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by.out" real 0m0.027s user 0m0.017s sys 0m0.012s banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by2.out" real 0m0.048s user 0m0.033s sys 0m0.018s banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by.out" real 0m0.018s user 0m0.012s sys 0m0.004s banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by2.out" real 0m0.031s user 0m0.024s sys 0m0.005s banjakukutekiiMac:shell panshiqu$ time md5 by.out MD5 (by.out) = 9d79e19a00cef1ae1bb6518ca4adf9de real 0m0.023s user 0m0.019s sys 0m0.006s banjakukutekiiMac:shell panshiqu$ time md5 by2.out MD5 (by2.out) = 0a029a460a20e8dcb00d032d6fab74c6 real 0m0.042s user 0m0.037s sys 0m0.009s
總結:
不管什麼方法都會隨著文件變大時間會變長,上面的例子大約都是2倍
io.Copy 方法效率最高,建議大傢這樣使用
補充:Go語言:md5計算方法的效率研究
研究瞭一下Go的md5計算方法,目前來看,效率最高運行最快的寫法是調用md5.Sum()函數返回16字節checksum,然後把每個字節的高4位和低4位分別映射成16進制字符存到兩個字節裡,得到32字節,再轉成字符串。
FastMD5較其它算法效率提高瞭至少46%以上。
const hextable = "0123456789abcdef" //作者: pengpengzhou func FastMD5(str string) string { src := md5.Sum([]byte(str)) var dst = make([]byte, 32) j := 0 for _, v := range src { dst[j] = hextable[v>>4] dst[j+1] = hextable[v&0x0f] j += 2 } return string(dst) }
Go Test Benchmark測試結果:
goos: linux goarch: amd64 pkg: example BenchmarkFastMD5-4 5564898 205 ns/op BenchmarkV1-4 3461698 379 ns/op BenchmarkV2-4 2277235 516 ns/op BenchmarkV3-4 2158122 527 ns/op PASS ok example 6.440s
詳細代碼如下:
package main import ( "crypto/md5" "encoding/hex" "fmt" "io" ) const hextable = "0123456789abcdef" func FastMD5(str string) string { src := md5.Sum([]byte(str)) var dst = make([]byte, 32) j := 0 for _, v := range src { dst[j] = hextable[v>>4] dst[j+1] = hextable[v&0x0f] j += 2 } return string(dst) } func md5V1(str string) string { h := md5.New() h.Write([]byte(str)) return hex.EncodeToString(h.Sum(nil)) } func md5V2(str string) string { data := []byte(str) has := md5.Sum(data) md5str := fmt.Sprintf("%x", has) return md5str } func md5V3(str string) string { w := md5.New() io.WriteString(w, str) md5str := fmt.Sprintf("%x", w.Sum(nil)) return md5str } func main() { str := "中文" fmt.Println(FastMD5(str)) fmt.Println(md5V1(str)) fmt.Println(md5V2(str)) fmt.Println(md5V3(str)) }
package main import ( "testing" ) var str = "golang中文教程" func BenchmarkFastMD5(b *testing.B) { for i := 0; i < b.N; i++ { FastMD5(str) } } func BenchmarkV1(b *testing.B) { for i := 0; i < b.N; i++ { md5V1(str) } } func BenchmarkV2(b *testing.B) { for i := 0; i < b.N; i++ { md5V2(str) } } func BenchmarkV3(b *testing.B) { for i := 0; i < b.N; i++ { md5V3(str) } }
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方,望不吝賜教。
推薦閱讀:
- Golang開發命令行之flag包的使用方法
- go 迭代string數組操作 go for string[]
- golang中字符串MD5生成方式總結
- Go 如何批量修改文件名
- Golang中的path/filepath包用法