golang pprof 監控goroutine thread統計原理詳解

Posted on by

引言

在之前 golang pprof監控 系列文章裡我分別介紹瞭go trace以及go pprof工具對memory，block，mutex這些維度的統計原理，今天我們接著來介紹golang pprof工具對於goroutine 和thread的統計原理。

還記得在golang pprof監控系列 memory，block，mutex 使用 文章裡，通過http接口的方式暴露的方式展現 指標信息那個網頁圖嗎？

這一節，我將會介紹其中的goroutine部分和threadcreate部分。

老規矩，在介紹統計原理前，先來看看http接口暴露的方式暴露瞭哪些信息。

http 接口暴露的方式

讓我們點擊網頁的goroutine 鏈接。。。

goroutine profile 輸出信息介紹

進入到瞭一個這樣的界面，我們挨個分析下網頁展現出來的信息:

首先地址欄 /debug/pprof/goroutine?debug= 1 代表這是在訪問goroutine指標信息，debug =1 代表訪問的內容將會以文本可讀的形式展現出來。 debug=0 則是會下載一個goroutine指標信息的二進制文件，這個文件可以通過go tool pprof 工具去進行分析，關於go tool pprof 的使用網上也有相當多的資料，這裡就不展開瞭。 debug = 2 將會把當前所有協程的堆棧信息以文本可讀形式展示在網頁上。如下圖所示:

debug =2 時的 如上圖所示，41代表協程的id，方括號內running代表瞭協程的狀態是運行中，接著就是該協程此時的堆棧信息瞭。

讓我們再回到debug = 1的分析上面去，剛才分析完瞭地址欄裡的debug參數，接著，我們看輸出的第一行

goroutine profile: total 6
1 @ 0x102ad6c60 0x102acf7f4 0x102b04de0 0x102b6e850 0x102b6e8dc 0x102b6f79c 0x102c27d04 0x102c377c8 0x102d0fc74 0x102bea72c 0x102bebec0 0x102bebf4c 0x102ca4af0 0x102ca49dc 0x102d0b084 0x102d10f30 0x102d176a4 0x102b09fc4
#	0x102b04ddf	internal/poll.runtime_pollWait+0x5f		/Users/xiongchuanhong/goproject/src/go/src/runtime/netpoll.go:303
#	0x102b6e84f	internal/poll.(*pollDesc).wait+0x8f		/Users/xiongchuanhong/goproject/src/go/src/internal/poll/fd_poll_runtime.go:84

......

goroutine profile 表明瞭這個profile的類型。

total 6 代表此時一共有6個協程。

接著是下面一行，1 代表瞭在這個堆棧上，隻有一個協程在執行。但其實在計算出數字1時，並不僅僅按堆棧去做區分，還依據瞭協程labels值，也就是 協程的堆棧和lebels標簽值 共同構成瞭一個key，而數字1就是在遍歷所有協程信息時，對相同key進行累加計數得來的。

我們可以通過下面的方式為協程設置labels。

	pprof.SetGoroutineLabels(pprof.WithLabels(context.Background(), pprof.Labels("name", "lanpangzi", "age", "18")))

通過上述代碼，我可以為當前協程設置瞭兩個標簽值，分別是name和age，設置label值之後，再來看debug=1後的網頁輸出，可以發現 設置的labels出現瞭。

1 @ 0x104f86c60 0x104fb7358 0x105236368 0x104f867ec 0x104fba024
# labels: {"age":"18", "name":"lanpangzi"}
#	0x104fb7357	time.Sleep+0x137	/Users/xiongchuanhong/goproject/src/go/src/runtime/time.go:193
#	0x105236367	main.main+0x437		/Users/xiongchuanhong/goproject/src/go/main/main.go:46
#	0x104f867eb	runtime.main+0x25b	/Users/xiongchuanhong/goproject/src/go/src/runtime/proc.go:255

而數字1之後，就是協程正在執行的堆棧信息瞭。至此，goroutine指標的輸出信息介紹完畢。

threadcreate 輸出信息介紹

介紹完goroutine指標的輸出信息後，再來看看threadcreate 線程創建指標的 輸出信息。

老規矩，先看地址欄，debug=1代表 輸出的是文本可讀的信息，threadcreate 就沒有debug=2的特別輸出瞭，debug=0時 同樣也會下載一個可供go tool pprof分析的二進制文件。

接著threadcreate pfofile表明瞭profile的類型， total 12 代表瞭此時總共有12個線程被創建，然後緊接著是11 代表瞭在這個總共有11個線程是在這個堆棧的代碼段上被創建的，註意這裡後面沒有堆棧內容，說明runtime在創建線程時，並沒有把此時的堆棧記錄下來，原因有可能是 這個線程是runtime自己使用的，堆棧沒有必要展示給用戶，所以幹脆不記錄瞭，具體原因這裡就不深入研究瞭。

下面輸出的內容可以看到在main方法裡面創建瞭一個線程，runtime.newm 方法內部，runtime會啟動一個系統線程。

threadcreate 輸出內容比較簡單，沒有過多可以講的。

程序代碼暴露指標信息

看完瞭http接口暴露著兩類指標的方式，我們再來看看如何通過代碼來暴露他們。 還記得在golang pprof監控系列memory，block，mutex 使用 是如何通過程序代碼 暴露memory block mutex 指標的嗎，goroutine 和 threadcreate 和他們一樣，也是通過pprof.Lookup方法進行暴露的。

os.Remove("goroutine.out")
	f, _ := os.Create("goroutine.out")
	defer f.Close()
	err := pprof.Lookup("goroutine").WriteTo(f, 1)
	if err != nil {
		log.Fatal(err)
	}
	
	.... 
	
	os.Remove("threadcreate.out")
	f, _ := os.Create("threadcreate.out")
	defer f.Close()
	err := pprof.Lookup("threadcreate").WriteTo(f, 1)
	if err != nil {
		log.Fatal(err)
	}

無非就是將pprof.Lookup的傳入的參數值改成對應的指標名即可。

接著我們來看看runtime內部是如何對這兩種類型的指標進行統計的，好的，正戲開始。

統計原理介紹

無論是 goroutine 還是threadcreate 的指標信息的輸出，都是調用瞭同一個方法writeRuntimeProfile。 golang 源碼版本 go1.17.12。

// src/runtime/pprof/pprof.go:708
func writeRuntimeProfile(w io.Writer, debug int, name string, fetch func([]runtime.StackRecord, []unsafe.Pointer) (int, bool)) error {
	var p []runtime.StackRecord
	var labels []unsafe.Pointer
	n, ok := fetch(nil, nil)
	for {
		p = make([]runtime.StackRecord, n+10)
		labels = make([]unsafe.Pointer, n+10)
		n, ok = fetch(p, labels)
		if ok {
			p = p[0:n]
			break
		}
	}
	return printCountProfile(w, debug, name, &runtimeProfile{p, labels})
}

讓我們來分析下這個函數，函數會傳遞一個fetch 方法，goroutine和threadcreate信息在輸出時選擇瞭不同的fetch方法來獲取到各自的信息。

為瞭對主幹代碼有比較清晰的認識，先暫時不看fetch方法的具體實現，此時我們隻需要知道，fetch方法可以將需要的指標信息 獲取到，並且將信息的堆棧存到變量名為p的堆棧類型的切片裡，然後將labels信息，存儲到 變量名為labels的切片裡。

註意： 隻有goroutine類型的指標才有labels信息

獲取到瞭堆棧信息，labels 信息，接著就是要將這些信息進行輸出瞭，進行輸出的函數是 上述源碼裡的最後一行 中 的printCountProfile 函數。

printCountProfile 函數的邏輯比較簡單，我簡單概括下，輸出的時候會將 printCountProfile 參數中的堆棧信息連同labels構成的結構體 進行遍歷， 堆棧信息和labels信息組合作為key，對相同key的內容進行累加計數。最後 printCountProfile 將根據debug的值的不同選擇不同的輸出方式，例如debug=0是二進制文件下載 方式 ，debug=1則是 網頁文本可讀方式進行輸出

至此，對goroutine和threadcreate 指標信息的輸出過程應該有瞭解瞭，即通過fetch方法獲取到指標信息，然後通過printCountProfile 方法對指標信息進行輸出。

fetch 方法的具體實現，我們還沒有開始介紹，現在來看看，goroutine和threadcreate信息在輸出時選擇瞭不同的fetch方法來獲取到各自的信息。

源碼如下:

// src/runtime/pprof/pprof.go:661  
func writeThreadCreate(w io.Writer, debug int) error {
	return writeRuntimeProfile(w, debug, "threadcreate", func(p []runtime.StackRecord, _ []unsafe.Pointer) (n int, ok bool) {
		return runtime.ThreadCreateProfile(p)
	})
}

// src/runtime/pprof/pprof.go:680 
func writeGoroutine(w io.Writer, debug int) error {
	if debug >= 2 {
		return writeGoroutineStacks(w)
	}
	return writeRuntimeProfile(w, debug, "goroutine", runtime_goroutineProfileWithLabels)
}

goroutine 指標信息在輸出時，會選擇runtime_goroutineProfileWithLabels函數來獲取goroutine指標，而threadcreate 則會調用 runtime.ThreadCreateProfile(p) 去獲取threadcreate指標信息。

goroutine fetch 函數實現

runtime_goroutineProfileWithLabels 方法的實現是由go:linkname 標簽鏈接過去的，實際底層實現的方法是 runtime_goroutineProfileWithLabels。

// src/runtime/mprof.go:744
//go:linkname runtime_goroutineProfileWithLabels runtime/pprof.runtime_goroutineProfileWithLabels
func runtime_goroutineProfileWithLabels(p []StackRecord, labels []unsafe.Pointer) (n int, ok bool) {
	return goroutineProfileWithLabels(p, labels)
}

goroutineProfileWithLabels 就是實際獲取goroutine堆棧和標簽的方法瞭。

我們往goroutineProfileWithLabels 傳遞瞭兩個數組，分別用於存儲堆棧信息，和labels信息，而goroutineProfileWithLabels 則負責將兩個數組填充上對應的信息。

goroutineProfileWithLabels 的邏輯也比較容易，我這裡僅僅簡單概括下，其內部會通過一個全局變量allgptr 去遍歷所有的協程，allgptr 保存瞭程序中所有的協程的地址， 而協程的結構體g內部，有一個叫做label的屬性，這個值就代表協程的標簽值,在遍歷協程時，通過該屬性便可以獲取到標簽值瞭。

threadcreate fetch 函數實現

runtime.ThreadCreateProfile 是 獲取threadcreate 指標的方法。

源碼如下：

func ThreadCreateProfile(p []StackRecord) (n int, ok bool) {
	first := (*m)(atomic.Loadp(unsafe.Pointer(&allm)))
	for mp := first; mp != nil; mp = mp.alllink {
		n++
	}
	if n <= len(p) {
		ok = true
		i := 0
		for mp := first; mp != nil; mp = mp.alllink {
			p[i].Stack0 = mp.createstack
			i++
		}
	}
	return
}

首先是獲取到allm變量的地址，allm是一個全局變量，它其實是 存儲所有m鏈表 的表頭元素。

// src/runtime/runtime2.go:1092
var (
	allm       *m
	.....

在golang裡，每創建一個m結構便會在底層創建一個系統線程，所以你可以簡單的認為m就是代表瞭一個線程。可以之後深入瞭解下gpm模型。

for mp := first; mp != nil; mp = mp.alllink {
			p[i].Stack0 = mp.createstack
			i++
		}

然後 ThreadCreateProfile 裡 這段邏輯就是遍歷瞭整個m鏈表，將m結構體保存的堆棧信息賦值給 參數p，p則是我們需要填充的堆棧信息數組，在m結構體裡，alllink是一個指向鏈表下一個元素的指針，每次新創建m時，會將新m插入到表頭位置，然後更新allm變量。

總結

至此，goroutine 和threadcreate的使用和原理都介紹完瞭，他們比起之前的memory，block之類的統計相對來說比較簡單，簡而言之就是遍歷一個全局變量allgptr或者allm ，遍歷時獲取到協程或者線程的堆棧信息和labels信息，然後將這些信息進行輸出即可。

以上就是golang pprof 監控goroutine thread統計原理詳解的詳細內容，更多關於go pprof goroutine thread統計的資料請關註WalkonNet其它相關文章！

推薦閱讀：