一文徹底弄懂零拷貝原理以及java實現

Posted on by

零拷貝

零拷貝（Zero-Copy）是一種 I/O 操作優化技術，可以快速高效地將數據從文件系統移動到網絡接口，而不需要將其從內核空間復制到用戶空間。其在 FTP 或者 HTTP 等協議中可以顯著地提升性能。但是需要註意的是，並不是所有的操作系統都支持這一特性，目前隻有在使用 NIO 和 Epoll 傳輸時才可使用該特性。

需要註意，它不能用於實現瞭數據加密或者壓縮的文件系統上，隻有傳輸文件的原始內容。這類原始內容也包括加密瞭的文件內容。

傳統I/O操作存在的性能問題

如果服務端要提供文件傳輸的功能，我們能想到的最簡單的方式是：將磁盤上的文件讀取出來，然後通過網絡協議發送給客戶端。

傳統 I/O 的工作方式是，數據讀取和寫入是從用戶空間到內核空間來回復制，而內核空間的數據是通過操作系統層面的 I/O 接口從磁盤讀取或寫入。

代碼通常如下，一般會需要兩個系統調用：

read(file, tmp_buf, len);
write(socket, tmp_buf, len);

代碼很簡單，雖然就兩行代碼，但是這裡面發生瞭不少的事情。

首先，期間共發生瞭 4 次用戶態與內核態的上下文切換，因為發生瞭兩次系統調用，一次是 read() ，一次是 write()，每次系統調用都得先從用戶態切換到內核態，等內核完成任務後，再從內核態切換回用戶態。

上下文切換到成本並不小，一次切換需要耗時幾十納秒到幾微秒，雖然時間看上去很短，但是在高並發的場景下，這類時間容易被累積和放大，從而影響系統的性能。

其次，還發生瞭 4 次數據拷貝，其中兩次是 DMA 的拷貝，另外兩次則是通過 CPU 拷貝的，下面說一下這個過程：

  • 第一次拷貝，把磁盤上的數據拷貝到操作系統內核的緩沖區裡，這個拷貝的過程是通過 DMA 搬運的。
  • 第二次拷貝，把內核緩沖區的數據拷貝到用戶的緩沖區裡，於是我們應用程序就可以使用這部分數據瞭，這個拷貝到過程是由 CPU 完成的。
  • 第三次拷貝，把剛才拷貝到用戶的緩沖區裡的數據，再拷貝到內核的 socket 的緩沖區裡，這個過程依然還是由 CPU 搬運的。
  • 第四次拷貝，把內核的 socket 緩沖區裡的數據，拷貝到網卡的緩沖區裡，這個過程又是由 DMA 搬運的。

這種簡單又傳統的文件傳輸方式，存在冗餘的上文切換和數據拷貝，在高並發系統裡是非常糟糕的，多瞭很多不必要的開銷，會嚴重影響系統性能。

所以，要想提高文件傳輸的性能，就需要減少「用戶態與內核態的上下文切換」和「內存拷貝」的次數。

零拷貝技術原理

零拷貝主要是用來解決操作系統在處理 I/O 操作時，頻繁復制數據的問題。關於零拷貝主要技術有 mmap+write、sendfile和splice等幾種方式。

虛擬內存

在瞭解零拷貝技術之前，先瞭解虛擬內存的概念。
所有現代操作系統都使用虛擬內存，使用虛擬地址取代物理地址，主要有以下幾點好處：

  • 多個虛擬內存可以指向同一個物理地址。
  • 虛擬內存空間可以遠遠大於物理內存空間。

利用上述的第一條特性可以優化，可以把內核空間和用戶空間的虛擬地址映射到同一個物理地址，這樣在 I/O 操作時就不需要來回復制瞭。

如下圖展示瞭虛擬內存的原理。

mmap/write 方式

使用mmap/write方式替換原來的傳統I/O方式，就是利用瞭虛擬內存的特性。下圖展示瞭mmap/write原理：

整個流程的核心區別就是，把數據讀取到內核緩沖區後，應用程序進行寫入操作時，直接把內核的Read Buffer的數據復制到Socket Buffer以便寫入，這次內核之間的復制也是需要CPU的參與的。

上述流程就是少瞭一個 CPU COPY，提升瞭 I/O 的速度。不過發現上下文的切換還是4次並沒有減少，這是因為還是要應用程序發起write操作。

那能不能減少上下文切換呢?這就需要sendfile方式來進一步優化瞭。

sendfile 方式

從 Linux 2.1 版本開始，Linux 引入瞭 sendfile來簡化操作。sendfile方式可以替換上面的mmap/write方式來進一步優化。

sendfile將以下操作：

  mmap();
  write();

替換為：

 sendfile();

這樣就減少瞭上下文切換，因為少瞭一個應用程序發起write操作，直接發起sendfile操作。

下圖展示瞭sendfile原理：

sendfile方式隻有三次數據復制（其中隻有一次 CPU COPY）以及2次上下文切換。

那能不能把 CPU COPY 減少到沒有呢？這樣需要帶有 scatter/gather的sendfile方式瞭。

帶有 scatter/gather 的 sendfile方式

Linux 2.4 內核進行瞭優化，提供瞭帶有 scatter/gather 的 sendfile 操作，這個操作可以把最後一次 CPU COPY 去除。其原理就是在內核空間 Read BUffer 和 Socket Buffer 不做數據復制，而是將 Read Buffer 的內存地址、偏移量記錄到相應的 Socket Buffer 中，這樣就不需要復制。其本質和虛擬內存的解決方法思路一致，就是內存地址的記錄。

下圖展示瞭scatter/gather 的 sendfile 的原理：

scatter/gather 的 sendfile 隻有兩次數據復制（都是 DMA COPY）及 2 次上下文切換。CUP COPY 已經完全沒有。不過這一種收集復制功能是需要硬件及驅動程序支持的。

splice 方式

splice 調用和sendfile 非常相似，用戶應用程序必須擁有兩個已經打開的文件描述符，一個表示輸入設備，一個表示輸出設備。與sendfile不同的是，splice允許任意兩個文件互相連接，而並不隻是文件與socket進行數據傳輸。對於從一個文件描述符發送數據到socket這種特例來說，一直都是使用sendfile系統調用，而splice一直以來就隻是一種機制，它並不僅限於sendfile的功能。也就是說 sendfile 是 splice 的一個子集。

在 Linux 2.6.17 版本引入瞭 splice，而在 Linux 2.6.23 版本中， sendfile 機制的實現已經沒有瞭，但是其 API 及相應的功能還在，隻不過 API 及相應的功能是利用瞭 splice 機制來實現的。

和 sendfile 不同的是，splice 不需要硬件支持。

總結

無論是傳統的 I/O 方式，還是引入瞭零拷貝之後，2 次 DMA copy是都少不瞭的。因為兩次 DMA 都是依賴硬件完成的。所以，所謂的零拷貝，都是為瞭減少 CPU copy 及減少瞭上下文的切換。
下圖展示瞭各種零拷貝技術的對比圖：

CPU拷貝 DMA拷貝 系統調用 上下文切換
傳統方法 2 2 read/write 4
內存映射 1 2 mmap/write 4
sendfile 1 2 sendfile 2
scatter/gather copy 0 2 sendfile 2
splice 0 2 splice 0

到此這篇關於零拷貝原理以及java實現的文章就介紹到這瞭,更多相關零拷貝原理及java實現內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：