Golang 內存模型The Go Memory Model

1. 簡介（Introduction）

官方原文

本文翻譯瞭原文並加入瞭自己的理解。

主要介紹多個 Go協程之間對同一個變量並發讀寫時需要註意的同步措施和執行順序問題。並列出幾個常見錯誤。

Go 內存模型涉及到多個 Go協程之間對同一個變量的讀寫。

假如有一個變量，其中一個 Go協程(a) 寫這個變量，另一個 Go協程(b) 讀這個變量；Go 內存模型定義瞭什麼情況下 Go協程(b) 能夠確保讀取到由 Go協程(a) 寫入的值。

2. 建議（Advice）

• 如果多協程並發修改數據，必須保證各個步驟串行執行（序列化訪問）。
• 為瞭串行執行，可以使用 channel 或其他同步原語（ 如 sync 和 sync/atomic 兩個包裡的那些）來保護被共享的數據。

3. 發生在…之前（Happens Before）

除瞭重排序需要理解，其餘概念其實沒那麼重要，看後面的例子就懂瞭。

3.1 重排序

當隻有一個 Go協程時，對同一個變量的讀寫必然是按照代碼編寫的順序來執行的。對於多個變量的讀寫，如果重新排序不影響代碼邏輯的正常執行，編譯器和處理器可能會對多個變量的讀寫過程重新排序。

比如對於 a = 1; b = 2 這兩個語句，在同一個 Go協程裡先執行 哪個其實是沒有區別的，隻要最後執行結果正確就行。

a := 1//1
b := 2//2
c := a + b //3

但是，因為重新排列執行順序的情況的存在，會導致**某個 Go協程所觀察到的執行順序可能與另一個 Go協程觀察到的執行順序不一樣。**可能另一個 Go協程 觀察到的事實是 b 的值先被更新，而 a 的值被後更新。

3.2 happens-before

為瞭表征讀寫需求，我們可以定義 happens-before，用來表示 Go 語言中某一小段內存命令的執行順序。

• 如果事件 e1 發生在事件 e2 之前，此時我們就認為 e2 發生在 e1 之後。
• 如果事件 e1 既不發生在事件 e2 之前，也不發生在 e2 之後，此時我們就認為 e1 和 e2 同時發生（並發）（並發 ≠ 並行）。

3.3 規則

在隻有一個 Go協程的內部，happens-before的順序就是代碼顯式定義的順序。當 Go協程 不僅僅局限在一個的時候，存在下面兩個規則：

• 如果存在一個變量 v，下面的兩個條件都滿足，則讀操作 r 允許觀察到（可能觀察到，也可能觀察不到）寫操作 w 寫入的值。

• r 不在 w 之前發生；
• 不存在其他的 w’ 在 w 之後發生，也不存在 w’ 在 r 之前發生。

• 為瞭保證讀操作 r 讀取到的是寫操作 w 寫入的值，需要確保 w 是唯一允許被 r 觀察到的寫操作。如果下面的兩個條件都滿足，則 r 保證能夠觀察到 w 寫入的值：

• w 發生在 r 之前；
• 其他對共享變量 v 的寫操作要麼發生在 w 之前，要麼發生在 r 之後。

規則二的條件比規則一的條件更為嚴格，它要求沒有其他的寫操作和 w、r 並發地發生。

在一個 Go協程 裡是不存在並發的，因此規則一和規則二是等效的：讀操作 r 可以觀察到最近一次寫操作 w 寫入的值。

但是，當多個協程訪問一個共享變量時，就必須使用同步事件來構建 happens-before 的條件，從而保證讀操作觀察到的一定是想要的寫操作。

在內存模型中，變量 v 的零值初始化操作等同於一個寫操作。

如果變量的值大於單機器字（CPU 從內存單次讀取的字節數），那麼 CPU 在讀和寫這個變量的時候是以一種不可預知順序的多次執行單機器字的操作，這也是 sync/atomic 包存在的價值。

4. 同步（Synchronization）

4.1 初始化（Initialization）

程序的初始化是在一個單獨的 Go協程 中進行的，但是這個協程可以創建其他的 Go協程 並且二者並發執行。

每個包都允許有一個 init 函數，當這個包被導入時，會執行該包的這個 init 函數，做一些初始化任務。

• 如果一個包 p 導入瞭包 q， 那麼 q 的 init 函數的執行發生在 p的所有 init 函數的執行之前。（即包的引用鏈）
• 函數 main.main 的執行發生在所有的 init 函數執行完成之後。

4.2 Go協程的創建（Goroutine creation）

通過 go 語句啟動新的 Go協程這個動作，發生在新的 Go協程的執行之前。比如下面的例子：

var a string

func f() {
  print(a)
}

func hello() {
  a = "hello, world"
  go f()
}

調用函數 hello 會在調用後的某個時間點打印 “hello, world” ，這個時間點可能在 hello 函數返回之前，也可能在 hello 函數返回之後。

4.3 Go協程的銷毀（Goroutine destruction）

Go協程的退出無法確保發生在程序的某個事件之前。比如下面的例子：

var a string

func hello() {
    go func() { a = "hello" }()
    print(a)
}

其中 a 的賦值語句沒有任何的同步措施，因此無法保證被其他任意的 Go 協程（例如 hello 函數本身）觀察到這個賦值事件的存在。

一些激進的編譯器可能會在編譯階段刪除上面代碼中的整個 go 語句。

如果某個 Go協程 裡發生的事件必須要被另一個 Go協程 觀察到，需要使用同步機制進行保證，比如使用鎖或者信道（channel）通信來構建一個相對的事件發生順序。

4.4 信道通信（Channel communication）

這部分介紹通過 channel 實現並發順序控制。

有緩存channel

信道通信是多個 Go協程 間事件同步的主要方式。在某個特定的信道上發送一個數據，則對應地可以在這個信道上接收一個數據，一般情況下是在不同的 Go協程 間發送與接收。

• 規則一：在某個信道上發送數據的事件發生在相應的接收事件之前。
  即一定是先發送數據，才能接收到數據這個順序。

var c = make(chan int, 10)
var a string

func f() {
  a = "hello, world"
  c <- 0
}

func main() {
  go f()
  <-c
  print(a)
}

 上面這段代碼保證瞭 `hello, world` 的打印。因為信道的寫入事件 `c <- 0` 發生在讀取事件 `<-c` 之前，而 `<-c` 發生在 `print(a)`之前。信道未被讀取時協程會阻塞。

• 規則二：信道的關閉事件發生在從信道接收到零值（由信道關閉觸發）之前。
  即一定是先關閉 channel，才能接收到零值。
  在前面的例子中，可以使用 close(c) 來替代 c <- 0 語句來保證同樣的效果。

無緩存 channel

• 規則三：對於沒有緩存的信道，數據的接收事件發生在數據發送完成之前。
  即信道容量為0時，隻有發送的信息被讀取瞭才算發送成功，否則阻塞。
  比如下面的代碼（類似上面給出的代碼，但是使用瞭沒有緩存的信道，且發送和接收的語句交換瞭一下）：

var c = make(chan int) //容量為0，無緩存
var a string

func f() {
  a = "hello, world"
  <-c
}
func main() {
  go f()
  c <- 0
  print(a)
}

上面這段代碼依然可以保證可以打印 `hello, world`。因為信道的寫入事件 `c <- 0` 發生在讀取事件 `<-c` 之前，而 `<-c` 發生在寫入事件 `c <- 0` 完成之前，同時寫入事件 `c <- 0` 的完成發生在 `print` 之前。

上面的代碼，如果信道是帶緩存的（比如 `c = make(chan int, 1)`），程序將不能保證會打印出 `hello, world`，它可能會打印出空字符串，也可能崩潰退出，或者表現出一些其他的癥狀。

規則抽象

• 規則四：對於容量為 C 的信道，接收第 k 個元素的事件發生在第 k+C 個元素的發送之前。
  規則四是規則三在帶緩存的信道上的推廣。
• 它使得帶緩存的信道可以模擬出計數信號量：**信道中元素的個數表示活躍數，信道的容量表示最大的可並發數；發送一個元素意味著獲取一個信號量，接收一個元素意味著釋放這個信號量。**這是一種常見的限制並發的用法。
• 下面的代碼給工作列表中的每個入口都開啟一個 Go協程，但是通過配合一個固定長度的信道保證瞭同時最多有 3 個運行的工作（最多 3 個並發）。

var limit = make(chan int, 3)

func main() {
  for _, w := range work {
    go func(w func()) {
      limit <- 1  // channel裡達到3個即阻塞
      w()
      <-limit  // 取出後channel裡小於3個即可繼續
    }(w)
  }
  select{}
}

4. 鎖

包 sync 實現瞭兩類鎖數據類型，分別是 sync.Mutex 和 sync.RWMutex，即互斥鎖和讀寫鎖。

• 規則一：對於類型為 sync.Mutex 和 sync.RWMutex 的變量 l，如果存在 n 和 m 且滿足 n < m，則 l.Unlock() 的第 n 次調用返回發生在l.Lock() 的第 m 次調用返回之前。
  即先解開上一次鎖才能上這一次鎖。
  比如下面的代碼：

var l sync.Mutex
var a string

func f() {
  a = "hello, world"
  l.Unlock()
}

func main() {
  l.Lock()
  go f()
  l.Lock()
  print(a)
}

上面這段代碼保證能夠打印 `hello, world`。`l.Unlock()`的第 1 次調用返回（在函數 f 內部）發生在 `l.Lock()` 的第 2 次調用返回之前，後者發生在 `print` 之前。 

• 規則二：存在類型 sync.RWMutex 的變量 l，如果 l.RLock 的調用返回發生在 l.Unlock 的第 n 次調用返回之後，那麼其對應的 l.RUnlock 發生在 l.Lock 的第 n+1 次調用返回之前。
  即讀鎖可以上多次，但是隻要沒有全解開就不能上寫鎖，寫鎖隻能上一個，不解開讀寫鎖都不能上。

5. 單次運行

包 sync 還提供瞭 Once 類型用來保證多協程的初始化的安全。

多個 Go協程 可以並發執行 once.Do(f) 來執行函數 f， 且隻會有一個 Go協程會運行 f()，其他的 Go 協程會阻塞到 f() 運行結束(不再執行 f，但能得到運行結果)

• 規則一：函數 f() 在 once.Do(f) 的單次調用返回發生在其他所有的 once.Do(f) 調用返回之前。

比如下面的代碼：

func setup() {
    time.Sleep(time.Second * 2) //1
    a = "hello, world"
    fmt.Println("setup over") //2
}

func doprint() {
    once.Do(setup) //3
    fmt.Println(a) //4
    wg.Done()
}

func twoprint() {
    go doprint()
    go doprint()
}

func main() {
    wg.Add(2)
    twoprint()
    wg.Wait()
}
setup over
hello, world
hello, world

• 上面代碼使用wg sync.WaitGroup等待兩個goroutine運行完畢，由於 setup over隻輸出一次，所以setup方法隻運行瞭一次
• 函數 setup 函數的執行返回發生在所有的 print 調用之前，同時會打印出兩次 hello, world，即當一個goroutine在執行setup方法時候，另外一個在阻塞。

6. 不正確的同步方式

6.1 案例一

對某個變量的讀操作 r 一定概率可以觀察到對同一個變量的並發寫操作 w，但是即使這件事情發生瞭，也並不意味著發生在 r 之後的其他讀操作可以觀察到發生在 w 之前的其他寫操作。（這裡的先後指的是代碼裡面聲明的操作的先後順序，而不是實際執行時候的）

比如下面的代碼：

var a, b int

func f() {
  a = 1
  b = 2
}

func g() {
  print(b)
  print(a)
}

func main() {
  go f()
  g()
}

上面的代碼裡函數 g 可能會先打印 2（b的值），然後打印 0（a的值）。可能大傢會認為既然 b 的值已經被賦值為 2 瞭，那麼 a 的值肯定被賦值為 1 瞭，但事實是兩個事件的先後在這裡是沒有辦法確定的，因為編譯器會改變執行順序。

上面的事實可以證明下面的幾個常見的錯誤。

6.2 案例二

雙重檢查鎖定嘗試避免同步帶來的開銷。比如下面的例子，twoprint 函數可能會被錯誤地編寫為：

var a string
var done bool

func setup() {
  a = "hello, world"
  done = true
}

func doprint() {
  if !done {
    once.Do(setup)
  }
  print(a)
}

func twoprint() {
  go doprint()
  go doprint()
}

在 doprint 函數中，觀察到對 done 的寫操作並不意味著能夠觀察到對 a 的寫操作。上面的寫法依然有可能打印出空字符串。

6.3 案例三

另一個常見的錯誤用法是對某個值的循環檢查，比如下面的代碼：

var a string
var done bool

func setup() {
    a = "hello, world"
    done = true
}

func main() {
    go setup()
    for !done {
    }
    print(a)
}

和上一個例子類似，main函數中觀察到對 done 的寫操作並不意味著可以觀察到對 a 的寫操作，因此上面的代碼依然可能會打印出空字符串。

更糟糕的是，由於兩個 Go協程之間缺少同步事件，main 函數甚至可能永遠無法觀察到對 done 變量的寫操作，導致 main 中的 for 循環永遠執行下去。

上面這個錯誤有一種變體，如下面的代碼所示：

type T struct {
  msg string
}

var g *T

func setup() {
  t := new(T)
  t.msg = "hello, world"
  g = t
}

func main() {
  go setup()
  for g == nil {
  }
  print(g.msg)
}

上面的代碼即使 main 函數觀察到 g != nil並且退出瞭它的 for 循環，依然沒有辦法保證它可以觀察到被初始化的 g.msg 值。

避免上面幾個錯誤用法的方式是一樣的：顯式使用同步語句。

7. 總結

通過上面所有的例子，不難看出解決多goroutine下共享數據可見性問題的方法是在訪問共享數據時候施加一定的同步措施。

以上就是Golang 內存模型The Go Memory Model的詳細內容，更多關於Go Memory Model的資料請關註WalkonNet其它相關文章！

推薦閱讀：

• 一文掌握Go語言並發編程必備的Mutex互斥鎖
• Go語言並發編程之互斥鎖Mutex和讀寫鎖RWMutex
• Go語言並發編程 互斥鎖詳情
• go sync.Map基本原理深入解析
• Go語言如何輕松編寫高效可靠的並發程序