Rust Aya 框架編寫 eBPF 程序

Posted on by

1. 前言

Linux 內核 6.1 版本中有一個非常引人註意的變化：引入瞭對 Rust 編程語言的支持。Rust 是一種系統編程語言，Rust 通過提供非常強大的編譯時保證和對內存生命周期的明確控制。在內核開發中引入 Rust 語言，將會為內核開發的早期帶來更多的安全保障。eBPF 是在內核中基於事件運行用戶自定義程序的技術，其驗證器機制可以保障運行在內核中 eBPF 程序的安全性。

Rust 與 eBPF 有著一個共同的目標：保證內核安全，隻是兩者側重的維度有所不同。

盡管使用 Rust 編寫 eBPF 程序多數情況下都需要通過不安全的方式在內核進行內存讀寫，但是基於 Rust 和 Aya ，的確能夠給我們帶來一個快速和高效的開發體驗，這包括自動生成整個程序框架（eBPF 程序及對應的用戶空間代碼）、參數檢查確認、錯誤處理、統一的相關構建和管理方式等等 。

Aya 是一個以可操作性和開發者體驗為重點的 eBPF 庫，完全是在 Rust 基礎上建立的，隻使用 libc 包來執行系統調用。Aya 官方倉庫地址為 https://github.com/aya-rs/aya/，當前版本為 v0.1.11，項目還處於偏早期。基於 Aya 庫開發 eBPF 程序可以給我們帶來以下的便利：

  • 基於 Rust 的 Cargo 工具來管理、構建和測試項目；
  • 支持 CO-RE 直接生成與 Rust 與內核文件的綁定；
  • 用戶工具代碼（Rust）與運行在的內核中的 eBPF 代碼輕松共享代碼；
  • 對於 LLVM、libbpf、bcc 等完全沒有任何依賴；

本文僅是基於 Aya 編寫 eBPF 程序及用戶空間程序的生成和測試的過程記錄，不涉及到對於生成 Rust 代碼的詳細解讀。

2. Rust 開發環境搭建

2.1 創建 VM 虛擬機

為瞭使用 Rust 進行 eBPF 程序編寫，那麼我們首先需要在本地搭建一個 Rust 開發環境。這裡我仍然采用 multipass 工具快速搭建一個 Ubuntu 22.04 LTS 的環境。

$ multipass launch --name rust-aya -d 20G

默認磁盤為 5G，比較容易造成磁盤空間滿，因此這裡將磁盤空間大小設置為 20G，你可以根據自己的情況調整。

對於已經創建的 mulipass 實例可以在創建後進行調整，則需要 multipass 版本大於 1.10，而且需要調整的實例處於停止狀態，詳細可參見調整實例配置，例如 multipass set local.rust-aya.cpus=4 或 multipass set local.rust-aya.memory=8G 分別用於調整實例的 CPU 和 MEM 大小。

2.2 安裝 Rust 開發環境

通常情況下，Rust 開發環境推薦通過 rustup 工具管理，我們可以通過以下命令快速安裝該工具：

$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

一般情況下我們選擇默認選項安裝。整個安裝過程會下載一個腳本完成 rustup 工具安裝，同時也會安裝最新的 Rust 穩定版本。如果安裝順利，我們可以在最後看到如下的信息：

...
stable-x86_64-unknown-linux-gnu installed - rustc 1.65.0 (897e37553 2022-11-02)


Rust is installed now. Great!


To get started you may need to restart your current shell.
This would reload your PATH environment variable to include
Cargo's bin directory ($HOME/.cargo/bin).


To configure your current shell, run:
source "$HOME/.cargo/env"

在 rustup 工具安裝完成後，我們可以使用其安裝 Rust 穩定版（實際上默認已經安裝）和 nightly ，其中 nightly 為開發者體驗新功能的發佈通道，Rust 2021 年開始支持編譯 eBPF，當前使用 Aya 需要基於 Rust Nightly 版本。

Rust 有 3 個發佈通道：

  • Nightly
  • Beta
  • Stable（穩定版）

大部分 Rust 開發者主要采用穩定版通道，不過希望實驗新功能的開發者可能會使用 nightly 或 beta 版。詳情參見附錄 G：Rust 是如何開發的與 “Nightly Rust”

$ source "$HOME/.cargo/env"
$ rustup install stable # rustup 命令已經默認安裝
info: syncing channel updates for 'stable-x86_64-unknown-linux-gnu'


stable-x86_64-unknown-linux-gnu unchanged - rustc 1.65.0 (897e37553 2022-11-02)


info: checking for self-updates
$ rustup toolchain install nightly --component rust-src
...
info: installing component 'rustfmt'


nightly-x86_64-unknown-linux-gnu installed - rustc 1.67.0-nightly (09508489e 2022-11-04)


info: checking for self-updates


$ rustup toolchain list
stable-x86_64-unknown-linux-gnu (default)
nightly-x86_64-unknown-linux-gnu

安裝 nightly 以後我們可以使用 rustup toolchain list 查看本地開發環境的開發工具鏈。

2.3 安裝 bpf-linker 依賴 和 bpftool 工具

為瞭使用 Aya，我們還需要安裝依賴包 bpf-linker，但其依賴與 LLVM/Clang 等工具，因此我們也需要提前安裝：

$ sudo apt-get update
$ sudo apt-get install llvm clang -y
$ cargo install bpf-linker

最後，為瞭生成內核數據結構的綁定，我們還必須安裝 bpftool，可以從發行版中安裝或從源代碼中構建，這裡我選用發行版安裝方式（基於 Ubuntu 22.04），源碼安裝可參考 bpftool 倉庫說明文檔：

$ sudo apt install linux-tools-common linux-tools-5.15.0-52-generic linux-cloud-tools-5.15.0-52-generic -y

支持我們完成瞭基於 Aya 開發的整個環境及依賴的安裝。

3. Aya 向導創建 eBPF 程序

3.1 使用向導創建項目

Aya 提供瞭一套模版向導用於創建 eBPF 對應的程序類型，向導創建依賴於 cargo-generate，因此我們需要在運行程序向導前提前安裝：

$ cargo install cargo-generate

我在安裝 cargo-generate 過程中遇到瞭如下的錯誤，主要是由於依賴 openssl 庫問題導致，如果你也遇到類似問題可參考 cargo-generate 安裝指南 和 Rust OpenSSL 文檔，如果一切順利，則可忽略此處的提示。

...
warning: build failed, waiting for other jobs to finish...
error: failed to compile `cargo-generate v0.16.0`, intermediate artifacts can be found at `/tmp/cargo-install8NrREg
...


$ sudo apt install openssl pkg-config libssl-dev gcc m4 ca-certificates make perl -y
# 重新安裝即可

在完成依賴後，我們就可以使用向導來創建 eBPF 項目，這裡以 XDP 類型程序為例：

$ cargo generate https://github.com/aya-rs/aya-template

這裡我們輸入項目名稱 myapp，eBPF 程序類型選擇 xdp，完成相關設定後，向導會自動幫我們創建一個名為 myapp 的 Rust 項目，項目包括瞭一個最簡單的 XDP 類型的 eBPF 程序及相對應的用戶空間程序。 myapp 目錄的整體夾頭如下所示：

├── Cargo.lock
├── Cargo.toml
├── README.md
├── myapp # 用戶空間程序
│   ├── Cargo.toml
│   └── src
│   └── main.rs
├── myapp-common # eBPF 程序與用戶空間程序復用的代碼庫
│   ├── Cargo.toml
│   └── src
│   └── lib.rs
├── myapp-ebpf # eBPF 程序
│   ├── Cargo.lock
│   ├── Cargo.toml
│   ├── rust-toolchain.toml
│   └── src
│   └── main.rs
└── xtask # build 相關的代碼
├── Cargo.toml
└── src
├── build_ebpf.rs
├── main.rs
└── run.rs


8 directories, 15 files

生成的 eBPF 程序位於 myapp-ebpf/src 目錄下，文件名為 main.rs，完整內容如下所示：

$ cat myapp-ebpf/src/main.rs
#![no_std]
#![no_main]


use aya_bpf::{
bindings::xdp_action,
macros::xdp,
programs::XdpContext,
};
use aya_log_ebpf::info;


#[xdp(name="myapp")]
pub fn myapp(ctx: XdpContext) -> u32 {
match try_myapp(ctx) {
Ok(ret) => ret,
Err(_) => xdp_action::XDP_ABORTED,
}
}


fn try_myapp(ctx: XdpContext) -> Result<u32, u32> {
info!(&ctx, "received a packet"); // 每接受到一個數據包則打印一個日志
Ok(xdp_action::XDP_PASS)
}


#[panic_handler]
fn panic(_info: &core::panic::PanicInfo) -> ! {
unsafe { core::hint::unreachable_unchecked() }
}

3.2 編譯 eBPF 程序

首先，我們使用 cargo 工具編譯 eBPF 對應的程序：

$ cd myapp
$ cargo xtask build-ebpf
...
Compiling myapp-ebpf v0.1.0 (/home/ubuntu/myapp/myapp-ebpf)
Running `rustc --crate-name myapp --edition=2021 src/main.rs --error-format=json \
--json=diagnostic-rendered-ansi,artifacts,future-incompat --crate-type bin \
--emit=dep-info,link -C opt-level=3 -C panic=abort -C lto -C codegen-units=1 
-C metadata=dd6140d48c387b43 -C extra-filename=-dd6140d48c387b43 \
--out-dir \
...
-Z unstable-options \
Finished dev [optimized] target(s) in 11.76s

編譯完成後，對應的程序保存在 target 目錄下：

~/myapp$ ls -hl target/bpfel-unknown-none/debug/
...
-rw-rw-r-- 2 ubuntu ubuntu 3.5K Nov 6 22:24 myapp


~/myapp$ file target/bpfel-unknown-none/debug/myapp
target/bpfel-unknown-none/debug/myapp: ELF 64-bit LSB relocatable, eBPF, version 1 (SYSV), not stripped


/myapp$ llvm-objdump -S target/bpfel-unknown-none/debug/myapp


target/bpfel-unknown-none/debug/myapp: file format elf64-bpf


Disassembly of section xdp/myapp:


0000000000000000 <myapp>:
...
242: bf 61 00 00 00 00 00 00 r1 = r6
243: 18 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 r2 = 0 ll
245: 18 03 00 00 ff ff ff ff 00 00 00 00 00 00 00 00 r3 = 4294967295 ll
247: bf 04 00 00 00 00 00 00 r4 = r0
248: b7 05 00 00 aa 00 00 00 r5 = 170
249: 85 00 00 00 19 00 00 00 call 25

至此，已經完成瞭 eBPF 程序的編譯工作，接著我們需要繼續編譯用戶空間代碼。

3.3 運行用戶空間程序

我們可以直接使用 cargo 命令來運行用戶空間程序：

$ RUST_LOG=info cargo xtask run
...
Finished dev [unoptimized + debuginfo] target(s) in 8.38s
Error: failed to attach the XDP program with default flags - try changing XdpFlags::default() to XdpFlags::SKB_MODE


Caused by:
unknown network interface eth0

RUST_LOG=info 為設置日志級別的環境變量，默認為 warn，但向導生成的代碼打印的日志級別默認為 info，因此需要運行時制定，否則可能會出現程序運行查看不到日志的情況。

cargo xtask run 命令會直接編譯用戶空間代碼並運行，但是運行過程中我們發現出現錯誤 unknown network interface eth0，這是因為默認生成的程序指定將 XDP 程序加載到 eth0 網卡，而我們的 VM 默認網卡不為 eth0 導致，這裡我們明確制定網卡使用 lo 測試，再次運行結果如下：

$ RUST_LOG=info cargo xtask run -- --iface lo
...
Finished dev [optimized] target(s) in 0.19s
Finished dev [unoptimized + debuginfo] target(s) in 0.12s
[2022-11-05T16:25:27Z INFO myapp] Waiting for Ctrl-C...

這次可以發現用戶空間程序已經正常運行，並且將對應的 eBPF 程序加載至內核中。

$ sudo bpftool prog list
42: xdp name myapp tag 2929f83b3be0f64b gpl
loaded_at 2022-11-06T22:42:54+0800 uid 0
xlated 2016B jited 1151B memlock 4096B map_ids 14,13,15


$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 xdpgeneric qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
prog/xdp id 42 # <=== 加載的 eBPF 程序 id 42

我們啟動網卡在 lo 網卡的 ping 包驗證：

我們可以看到當我們在另外一個窗口在本地端口運行 ping -c 1 127.0.0.1 命令的同時，在運行用戶空間 myapp 的程序日志中打印瞭對應的日志 received a packet。

至此，我們就完成瞭整個基於 Aya 最簡單 XDP 程序的驗證，如果你打算進階一步打印報文日志或者對特定包進行對齊，則可以參考 Aya Book 中對應的章節。

4. 總結

通過對於 Aya 整個過程中的使用，我們可以發現使用 Aya 開發 eBPF 程序的確給我們帶來瞭諸多的便利，通過向導搭建瞭整個項目的基本框架，並且實現瞭編譯、加載等相關的管理工作，特別是對於新手入門更加友好。默認生成的用戶空間代碼與 eBPF 代碼實現瞭一定程度的代碼復用，特別是日志相關的打印更加便捷。同時，該項目當前的文檔還不是特別完整，諸如 Probe/Tracepoint/XDP 等程序類型的文檔還在完善中，如果你有興趣也歡迎投入到相關的建設中。

同時，也期待 libbpf-bootstrap 項目能夠早日實現 Aya 向導式的 eBPF 程序代碼創建，這對於編寫 eBPF 相關的程序的確提供瞭快速上手的體驗。

參考

  • 一篇 Rust 的 30 分鐘介紹
  • https://aya-rs.dev/
  • LWN: Aya: writing BPF in Rust 2021-6-15
  • Aya: your tRusty eBPF companion 2022-6-22 【翻譯】Aya: Rust 風格的 eBPF 夥伴
  • Adding BPF target support to the Rust compiler
  • Rust and Tell – Berlin – Aya: Extending the Linux Kernel with eBPF and Rust by Michal Rostecki 2022-10-24
  • Writing an eBPF/XDP load-balancer in Rust
  • Wanting to use BPF with Rust (Part 1)

到此這篇關於Rust Aya 框架編寫 eBPF 程序的文章就介紹到這瞭,更多相關Rust編寫 eBPF 程序內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：