在 Banana Pi BPI-SM10（SpacemiT K3）上，llama.cpp 借助 IME2 在八个 A100 核心上运行。使用 Qwen2.5-0.5B Q4_0、128 个提示词 token 和 32 个生成 token 时，8 个核心的提示词处理速度达到 526 tokens/s。解码速度在 4 个核心上最高达到 58.7 tokens/s。同一文件在开发板的 X100 核心上使用 RVV 运行时，提示词处理速度为 194 tokens/s，解码速度为 42 tokens/s。表格中列出了 10 款 Q4_0 模型和 17 款 Q4_K_M 模型。
说明和分支版本：OpenSolvers 上的 llama.cpp。开发板：
Banana Pi SM10。