Linux 内核 6.1 版本中有一个非常引人注意的变化：引入了对 Rust 编程语言的支持。Rust 是一种系统编程语言，Rust 通过提供非常强大的编译时保证和对内存生命周期的明确控制。在内核开发中引入 Rust 语言，将会为内核开发的早期带来更多的安全保障。eBPF 是在内核中基于事件运行用户自定义程序的技术，其验证器机制可以保障运行在内核中 eBPF 程序的安全性。
Rust 与 eBPF 有着一个共同的目标：保证内核安全，只是两者侧重的维度有所不同。
尽管使用 Rust 编写 eBPF 程序多数情况下都需要通过不安全的方式在内核进行内存读写，但是基于 Rust 和 Aya ，的确能够给我们带来一个快速和高效的开发体验，这包括自动生成整个程序框架（eBPF 程序及对应的用户空间代码）、参数检查确认、错误处理、统一的相关构建和管理方式等等 。
Aya 是一个以可操作性和开发者体验为重点的 eBPF 库，完全是在 Rust 基础上建立的，只使用 libc 包来执行系统调用。Aya 官方仓库地址为 https://github.com/aya-rs/aya/，当前版本为 v0.1.11，项目还处于偏早期。基于 Aya 库开发 eBPF 程序可以给我们带来以下的便利：
- 基于 Rust 的 Cargo 工具来管理、构建和测试项目；
- 支持 CO-RE 直接生成与 Rust 与内核文件的绑定；
- 用户工具代码（Rust）与运行在的内核中的 eBPF 代码轻松共享代码；
- 对于 LLVM、libbpf、bcc 等完全没有任何依赖；
本文仅是基于 Aya 编写 eBPF 程序及用户空间程序的生成和测试的过程记录，不涉及到对于生成 Rust 代码的详细解读。
2. Rust 开发环境搭建
2.1 创建 VM 虚拟机
为了使用 Rust 进行 eBPF 程序编写，那么我们首先需要在本地搭建一个 Rust 开发环境。这里我仍然采用 multipass 工具快速搭建一个 Ubuntu 22.04 LTS 的环境。
|
1
|
$ multipass launch --name rust-aya -d 20G
|
默认磁盘为 5G，比较容易造成磁盘空间满，因此这里将磁盘空间大小设置为 20G，你可以根据自己的情况调整。
对于已经创建的 mulipass 实例可以在创建后进行调整，则需要 multipass 版本大于 1.10，而且需要调整的实例处于停止状态，详细可参见调整实例配置，例如 multipass set local.rust-aya.cpus=4 或 multipass set local.rust-aya.memory=8G 分别用于调整实例的 CPU 和 MEM 大小。
2.2 安装 Rust 开发环境
通常情况下，Rust 开发环境推荐通过 rustup 工具管理，我们可以通过以下命令快速安装该工具：
|
1
|
$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
|
一般情况下我们选择默认选项安装。整个安装过程会下载一个脚本完成 rustup 工具安装，同时也会安装最新的 Rust 稳定版本。如果安装顺利，我们可以在最后看到如下的信息：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
...
stable-x86_64-unknown-linux-gnu installed - rustc 1.65.0 (897e37553 2022-11-02)
Rust is installed now. Great!
To get started you may need to restart your current shell.
This would reload your PATH environment variable to include
Cargo's bin directory ($HOME/.cargo/bin).
To configure your current shell, run:
source "$HOME/.cargo/env"
|
在 rustup 工具安装完成后，我们可以使用其安装 Rust 稳定版（实际上默认已经安装）和 nightly ，其中 nightly 为开发者体验新功能的发布通道，Rust 2021 年开始支持编译 eBPF，当前使用 Aya 需要基于 Rust Nightly 版本。
Rust 有 3 个发布通道：
大部分 Rust 开发者主要采用稳定版通道，不过希望实验新功能的开发者可能会使用 nightly 或 beta 版。详情参见附录 G：Rust 是如何开发的与 “Nightly Rust”
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
$ source "$HOME/.cargo/env"
$ rustup install stable # rustup 命令已经默认安装
info: syncing channel updates for 'stable-x86_64-unknown-linux-gnu'
stable-x86_64-unknown-linux-gnu unchanged - rustc 1.65.0 (897e37553 2022-11-02)
info: checking for self-updates
$ rustup toolchain install nightly --component rust-src
...
info: installing component 'rustfmt'
nightly-x86_64-unknown-linux-gnu installed - rustc 1.67.0-nightly (09508489e 2022-11-04)
info: checking for self-updates
$ rustup toolchain list
stable-x86_64-unknown-linux-gnu (default)
nightly-x86_64-unknown-linux-gnu
|
安装 nightly 以后我们可以使用 rustup toolchain list 查看本地开发环境的开发工具链。
2.3 安装 bpf-linker 依赖 和 bpftool 工具
为了使用 Aya，我们还需要安装依赖包 bpf-linker，但其依赖与 LLVM/Clang 等工具，因此我们也需要提前安装：
|
1
2
3
|
$ sudo apt-get update
$ sudo apt-get install llvm clang -y
$ cargo install bpf-linker
|
最后，为了生成内核数据结构的绑定，我们还必须安装 bpftool，可以从发行版中安装或从源代码中构建，这里我选用发行版安装方式（基于 Ubuntu 22.04），源码安装可参考 bpftool 仓库说明文档：
|
1
|
$ sudo apt install linux-tools-common linux-tools-5.15.0-52-generic linux-cloud-tools-5.15.0-52-generic -y
|
支持我们完成了基于 Aya 开发的整个环境及依赖的安装。
3. Aya 向导创建 eBPF 程序
3.1 使用向导创建项目
Aya 提供了一套模版向导用于创建 eBPF 对应的程序类型，向导创建依赖于 cargo-generate，因此我们需要在运行程序向导前提前安装：
|
1
|
$ cargo install cargo-generate
|
我在安装 cargo-generate 过程中遇到了如下的错误，主要是由于依赖 openssl 库问题导致，如果你也遇到类似问题可参考 cargo-generate 安装指南 和 Rust OpenSSL 文档，如果一切顺利，则可忽略此处的提示。
|
1
2
3
4
5
6
7
8
|
...
warning: build failed, waiting for other jobs to finish...
error: failed to compile `cargo-generate v0.16.0`, intermediate artifacts can be found at `/tmp/cargo-install8NrREg
...
$ sudo apt install openssl pkg-config libssl-dev gcc m4 ca-certificates make perl -y
# 重新安装即可
|
在完成依赖后，我们就可以使用向导来创建 eBPF 项目，这里以 XDP 类型程序为例：
|
1
|
$ cargo generate https://github.com/aya-rs/aya-template
|
这里我们输入项目名称 myapp，eBPF 程序类型选择 xdp，完成相关设定后，向导会自动帮我们创建一个名为 myapp 的 Rust 项目，项目包括了一个最简单的 XDP 类型的 eBPF 程序及相对应的用户空间程序。 myapp 目录的整体夹头如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
├── Cargo.lock
├── Cargo.toml
├── README.md
├── myapp # 用户空间程序
│ ├── Cargo.toml
│ └── src
│ └── main.rs
├── myapp-common # eBPF 程序与用户空间程序复用的代码库
│ ├── Cargo.toml
│ └── src
│ └── lib.rs
├── myapp-ebpf # eBPF 程序
│ ├── Cargo.lock
│ ├── Cargo.toml
│ ├── rust-toolchain.toml
│ └── src
│ └── main.rs
└── xtask # build 相关的代码
├── Cargo.toml
└── src
├── build_ebpf.rs
├── main.rs
└── run.rs
8 directories, 15 files
|
生成的 eBPF 程序位于 myapp-ebpf/src 目录下，文件名为 main.rs，完整内容如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
$ cat myapp-ebpf/src/main.rs
#![no_std]
#![no_main]
use aya_bpf::{
bindings::xdp_action,
macros::xdp,
programs::XdpContext,
};
use aya_log_ebpf::info;
#[xdp(name="myapp")]
pub fn myapp(ctx: XdpContext) -> u32 {
match try_myapp(ctx) {
Ok(ret) => ret,
Err(_) => xdp_action::XDP_ABORTED,
}
}
fn try_myapp(ctx: XdpContext) -> Result<u32, u32> {
info!(&ctx, "received a packet"); // 每接受到一个数据包则打印一个日志
Ok(xdp_action::XDP_PASS)
}
#[panic_handler]
fn panic(_info: &core::panic::PanicInfo) -> ! {
unsafe { core::hint::unreachable_unchecked() }
}
|
3.2 编译 eBPF 程序
首先，我们使用 cargo 工具编译 eBPF 对应的程序：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
$ cd myapp
$ cargo xtask build-ebpf
...
Compiling myapp-ebpf v0.1.0 (/home/ubuntu/myapp/myapp-ebpf)
Running `rustc --crate-name myapp --edition=2021 src/main.rs --error-format=json \
--json=diagnostic-rendered-ansi,artifacts,future-incompat --crate-type bin \
--emit=dep-info,link -C opt-level=3 -C panic=abort -C lto -C codegen-units=1
-C metadata=dd6140d48c387b43 -C extra-filename=-dd6140d48c387b43 \
--out-dir \
...
-Z unstable-options \
Finished dev [optimized] target(s) in 11.76s
|
编译完成后，对应的程序保存在 target 目录下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
~/myapp$ ls -hl target/bpfel-unknown-none/debug/
...
-rw-rw-r-- 2 ubuntu ubuntu 3.5K Nov 6 22:24 myapp
~/myapp$ file target/bpfel-unknown-none/debug/myapp
target/bpfel-unknown-none/debug/myapp: ELF 64-bit LSB relocatable, eBPF, version 1 (SYSV), not stripped
/myapp$ llvm-objdump -S target/bpfel-unknown-none/debug/myapp
target/bpfel-unknown-none/debug/myapp: file format elf64-bpf
Disassembly of section xdp/myapp:
0000000000000000 <myapp>:
...
242: bf 61 00 00 00 00 00 00 r1 = r6
243: 18 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 r2 = 0 ll
245: 18 03 00 00 ff ff ff ff 00 00 00 00 00 00 00 00 r3 = 4294967295 ll
247: bf 04 00 00 00 00 00 00 r4 = r0
248: b7 05 00 00 aa 00 00 00 r5 = 170
249: 85 00 00 00 19 00 00 00 call 25
|
至此，已经完成了 eBPF 程序的编译工作，接着我们需要继续编译用户空间代码。
3.3 运行用户空间程序
我们可以直接使用 cargo 命令来运行用户空间程序：
|
1
2
3
4
5
6
7
8
|
$ RUST_LOG=info cargo xtask run
...
Finished dev [unoptimized + debuginfo] target(s) in 8.38s
Error: failed to attach the XDP program with default flags - try changing XdpFlags::default() to XdpFlags::SKB_MODE
Caused by:
unknown network interface eth0
|
RUST_LOG=info 为设置日志级别的环境变量，默认为 warn，但向导生成的代码打印的日志级别默认为 info，因此需要运行时制定，否则可能会出现程序运行查看不到日志的情况。
cargo xtask run 命令会直接编译用户空间代码并运行，但是运行过程中我们发现出现错误 unknown network interface eth0，这是因为默认生成的程序指定将 XDP 程序加载到 eth0 网卡，而我们的 VM 默认网卡不为 eth0 导致，这里我们明确制定网卡使用 lo 测试，再次运行结果如下：
|
1
2
3
4
5
|
$ RUST_LOG=info cargo xtask run -- --iface lo
...
Finished dev [optimized] target(s) in 0.19s
Finished dev [unoptimized + debuginfo] target(s) in 0.12s
[2022-11-05T16:25:27Z INFO myapp] Waiting for Ctrl-C...
|
这次可以发现用户空间程序已经正常运行，并且将对应的 eBPF 程序加载至内核中。
|
1
2
3
4
5
6
7
8
9
10
|
$ sudo bpftool prog list
42: xdp name myapp tag 2929f83b3be0f64b gpl
loaded_at 2022-11-06T22:42:54+0800 uid 0
xlated 2016B jited 1151B memlock 4096B map_ids 14,13,15
$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 xdpgeneric qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
prog/xdp id 42 # <=== 加载的 eBPF 程序 id 42
|
我们启动网卡在 lo 网卡的 ping 包验证：
我们可以看到当我们在另外一个窗口在本地端口运行 ping -c 1 127.0.0.1 命令的同时，在运行用户空间 myapp 的程序日志中打印了对应的日志 received a packet。
至此，我们就完成了整个基于 Aya 最简单 XDP 程序的验证，如果你打算进阶一步打印报文日志或者对特定包进行对齐，则可以参考 Aya Book 中对应的章节。
4. 总结
通过对于 Aya 整个过程中的使用，我们可以发现使用 Aya 开发 eBPF 程序的确给我们带来了诸多的便利，通过向导搭建了整个项目的基本框架，并且实现了编译、加载等相关的管理工作，特别是对于新手入门更加友好。默认生成的用户空间代码与 eBPF 代码实现了一定程度的代码复用，特别是日志相关的打印更加便捷。同时，该项目当前的文档还不是特别完整，诸如 Probe/Tracepoint/XDP 等程序类型的文档还在完善中，如果你有兴趣也欢迎投入到相关的建设中。
同时，也期待 libbpf-bootstrap 项目能够早日实现 Aya 向导式的 eBPF 程序代码创建，这对于编写 eBPF 相关的程序的确提供了快速上手的体验。
参考
- 一篇 Rust 的 30 分钟介绍
- https://aya-rs.dev/
- LWN: Aya: writing BPF in Rust 2021-6-15
- Aya: your tRusty eBPF companion 2022-6-22 【翻译】Aya: Rust 风格的 eBPF 伙伴
- Adding BPF target support to the Rust compiler
- Rust and Tell - Berlin - Aya: Extending the Linux Kernel with eBPF and Rust by Michal Rostecki 2022-10-24
- Writing an eBPF/XDP load-balancer in Rust
- Wanting to use BPF with Rust (Part 1)
