Go語言中的UTF-8實現
計算機剛誕生的時候，計算機內的字符可以全部由 ASCII 來表示，ASCII 字符的長度是 7 位，可以表示 128 個字符，對於美國等國傢來說是夠瞭，但是對於世界上的其他國傢，特別是東亞國傢，文字不是由字母組成，漢字就有幾萬個，ASCII 碼根本不夠用。
字符本質就是對應計算機中的一個數值，既然不夠用，那麼解決方法就是把這個范圍擴大，Unicode 的出現就解決瞭這個問題，它包括瞭世界上所有的字符，每一個字符都對應一個數值，這個數值被稱之為 Unicode 碼點。
但是 Unicode 也不是沒有缺點，因為表示的范圍大，所以每一個 Unicode 都需要 4 個字節來表示，但是對於原本的 ASCII 編碼，本來隻需要一個字節，現在也需要 4個字節，這樣會浪費很多存儲。
UTF-8 的出現解決瞭這個問題，它解決問題的思路是讓每個字符選擇自己的大小，需要多少字節就用多少。對於占不同字節的字符，有不同的表示格式：
- 1 字節：0xxxxxxx
- 2 字節：110xxxxx 10xxxxxx
- 3 字節：1110xxxx 10xxxxxx 10xxxxxx
- 4 字節：11110xxx 10 xxxxxx 10xxxxxx 10xxxxxx
通過識別每個字符串的頭部來判斷占幾個字節。
每個 Unicode 字符都對應一個碼點，在字符串中，可以對碼點進行轉義，使用 \uhhhh 表示 16 位碼點，使用 \Uhhhhhhhh 來表示 32 位碼點，每一個 h 都代表一個十六進制的數字。
這裡有一點比較特殊，對於碼點值小於 256 的文字符號可以使用單個十六進制的數字來表示，比如 ‘A’ 可以使用 ‘\x41’ 來表示，對於大於 256 的碼點，就必須使用 \u 或者 \U 來轉義。
Go 語言對於 UTF-8 的支持很好，這裡有一點很有意思，Go 語言的兩位作者 Ken Thompson 和 Rob Pike 同時也是 UTF-8 的發明者，Go 語言對 UTF-8 的支持贏在起跑線。
Go 語言總是使用 UTF-8 來處理源文件，同時也是優先使用 UTF-8 來處理字符串。所以上面說到的那些 Unicode 字符的轉義被 Go 直接處理，比如下面三個字符串在 Go 語言中是等價的:
"世界" "\u4e16\u754c" "\U00004e16\U0000u754c"
Go 字符串使用隻讀的 []byte 來存儲，所以字符串值是不變的，這樣做更安全，效率也很高：
s := "left root" t := s s += ", right root" fmt.Println(s) // left root, right root fmt.Println(t) // left root
在上面的例子中， s 的值出現瞭變化，但是 t 的值還是舊的字符串。由於是 [] byte 是 slice 類型，所以字符串的截取操作效率很高，但是在字符串截取的過程中，就會出現一些坑。
Go 中的字符串底層使用瞭隻讀的 []byte 來存儲，所以**本質上 Go 語言中的字符串是使用字節來表示，而不是字符表示，**理解這一點很重要。
str := "hello world" fmt.Println(str[:2]) // he str = "你好，世界" fmt.Println(str[:2]) // ��，這個符號用來表示 UTF-8 裡面的未知字符，碼點是
非 ASCII 碼的字符一般占用的字節會超過一個，如果直接截取，就會導致截取不到正確的位置，從而亂碼。在上面的例子中，一個中文字符占 3 個字節，隻有嚴格按照字節數來截取才能獲取到顯示正常的字符：
str = "你好，世界" fmt.Println(str[:3]) // 你
那麼在這個時候，如果要按照字符截取，就需要把字符串轉成 []rune，每個 rune 都代表一個 UTF-8 中的碼點，對 []rune 按照字符截取就不會出現亂碼：
str = "你好，世界" runeStr := []rune(str) fmt.Println(string(runeStr[:1])) // 你
把字符串轉成 []rune，就是把字符串轉成 UTF-8 碼點，而不是 []byte，rune 其實就是 int32 類型。
Go 語言中有一個專門 unicode/utf8 包來處理 utf8 字符。由於每個字符占據的字節可能不一樣，所以字符數和字節數大小是兩回事：
s := "Hello, 世界" // 逗號是半角符號 fmt.Println(len(s)) // 13 fmt.Println(utf8.RuneCountInString(s)) // 9
如果要獲取字符占據的總字節數，就使用 len 方法，如果需要計算字符的個數，那就需要使用 utf8.RuneCountInString 方法。
這個包裡面還提供瞭其他常用函數：
// 判斷是否符合 utf8 編碼： func Valid(p []byte) bool func ValidRune(r rune) bool func ValidString(s string) bool // 判斷 rune 所占的字節數 func RuneLen(r rune) int // 判斷字節串或者字符串中的 rune 字符數 func RuneCount(p []byte) int func RuneCountInString(s string) int // 對 rune 的編碼和解碼 func EncodeRune(p []byte, r rune) int func DecodeRune(p []byte) (r rune, size int) func DecodeRuneInString(s string) (r rune, size int) func DecodeLastRune(p []byte) (r rune, size int) func DecodeLastRuneInString(s string) (r rune, size int)
除瞭 utf8 包之外， unicode 包對提供瞭一系列 IsXX 函數來 rune 的檢查：
func Is(rangeTab *RangeTable, r rune) bool // 是否是 RangeTable 類型的 func In(r rune, ranges ...*RangeTable) bool // 是否是 ranges 中任意一個類型的字符 func IsControl(r rune) bool // 是否是控制字符 func IsDigit(r rune) bool // 是否是阿拉伯數字字符，即 0-9 func IsGraphic(r rune) bool // 是否是圖形字符 func IsLetter(r rune) bool // 是否是字母 func IsLower(r rune) bool // 是否是小寫字符 func IsMark(r rune) bool // 是否是符號字符 func IsNumber(r rune) bool // 是否是數字字符，包含羅馬數字 func IsOneOf(ranges []*RangeTable, r rune) bool // 是否是 RangeTable 中的一個 func IsPrint(r rune) bool // 是否是可打印字符 func IsPunct(r rune) bool // 是否是標點符號 func IsSpace(r rune) bool // 是否是空格 func IsSymbol(r rune) bool // 是否符號字符 func IsTitle(r rune) bool // 字符串中的每個單詞的第一個字符是否是大寫 func IsUpper(r rune) bool // 是否是大寫字符
RangeTable 是對所有 Unicode 字符的分類，比如驗證一個字符是否是漢字：
r := '中' result := unicode.Is(unicode.Han, r) fmt.Println(result) // true
其中 unicode.Han 就是 RangeTable 類型，表示漢字。
到此這篇關於Go語言中的UTF-8實現的文章就介紹到這瞭,更多相關Go語言UTF-8內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！