SpacemiT K3 配备 8 个 VLEN=1024 的“AI”核心——我们让 OpenBLAS 识别了它们,并运行了 HPL

我们花了一些时间研究 Banana Pi BPI-SM10(SpacemiT K3):8 个 X100(RVA23、RVV、VLEN=256)加上 8 个 A100 AI 核心(VLEN=1024、IME2 矩阵单元)。两个集群都支持 RVV 1.0。显而易见的问题是:能不能直接用 BLAS/HPL 跑这些宽向量核心,从而获得更快的速度?

简短回答:不行——至少用默认 VLEN=256 的 OpenBLAS 内核不行。单靠更宽的 VLEN 并不能免费提速。

先说几个奇怪的 Linux 细节

A100 在 sysfs 中显示为在线状态,但无法通过常规 affinity 机制使用。你需要执行:

echo $$ > /proc/set_ai_thread

taskset -c 8-15 …

还有:不要先在 X100 上启动程序,让动态链接器 / OpenBLAS 缓存 VLEN=256 的相关判断,然后再迁移到 A100。这种做法可能触发 SIGSEGV。要在 exec 前注册 AI 线程。

HPL 数值(N=12000,NB=192,残差测试通过)

配置 OpenBLAS GFLOP/s
X100 ×8 ZVL256B ~52–53
A100 ×8 ZVL256B(兼容 VLEN) 15
A100 ×8 新版 ZVL1024B 35.9
8 个 X100 + 8 个 A100 ZVL256B + ZVL1024B 57.5

所以,使用近乎原版的 ZVL256B 时,A100 的速度比 X100 慢约 3.5 倍。将分块尺寸与 VLEN=1024 匹配(RISCV64_ZVL1024B,采用 OpenBLAS generate_kernel.py 生成的 DGEMM 16×8 内核),A100 的性能提升了约 2.4 倍——仍然落后于 X100,但现在已经派得上用场。

有意思的是:A100 不再拖后腿后,8+8 的混合配置胜过仅用 X100(57.5 对比约 53)。使用较慢的 BLAS 跑 A100 时,各分配 8 个 rank 反而是个陷阱(约 27 GF);当时的最佳配置是“主要使用 X100,只分配少数 rank 给 A100”。

使用新目标配置,在 A100 上运行的完整 L2/L3 OpenBLAS BLAT(S/D/C/Z)测试全部通过。

结论

  1. K3 是异构架构。X100 仍是主要的 RVV 计算路径。A100 的宽向量能力主要是为 IME2 准备的,并不是“更快的 X60”。
  2. 内核几何参数必须与 VLEN 匹配。把 ZVL256B 内核移植到 VLEN=1024,却不调整分块尺寸,会浪费整台机器的性能(而且某些默认的宽向量加载 / vget 模式假定 VLMAX@256)。
  3. 异构 MPI 需要为每个 rank 配置不同的 BLAS(我们使用了 FlexiBLAS),还需要执行 set_ai_thread 那套操作。
  4. 静态配置 TARGET=RISCV64_ZVL1024B 不能在 X100 上运行——请使用 DYNAMIC_ARCH 或独立后端。

PR 草案(特意保留为草案——并非建议将此作为 K3 的主要路径):
#6066

开发板测试报告和更多表格:

补丁:https://github.com/opensolvers/benchmarks(OpenBLAS/)

开发板由 Banana Pi 提供。IME2 / GPU 的数值之后再测——这次只讨论纯 RVV 的表现。

欢迎提问:无论是 affinity 陷阱、vget 错误,还是异构 HPL 封装的问题,我都乐意解答。

1 个赞