在 Banana Pi BPI-SM10 上，当块长度为 32 时，ONNX Runtime 的 int4 MatMulNBits 路径会在 A100 核心上使用 IME2（vmadot.hp）。在准确度等级 4、128 个提示词 token 和 32 个生成 token 的设置下，Qwen2.5-0.5B 在八个核心上运行时，提示词处理速度为 391 token/s，解码速度为 34 token/s。使用四个核心时，解码速度略快。一个 A100 核心在 K=4096、N=11008 时，M=1 下达到 35 GOP/s，M=4 下达到 86 GOP/s。15 个 int4 模型中有 14 个能够回答简短的英文提示。该内核位于 k3-a100-ime2 分支上。
注：OpenSolvers 上的 ONNX Runtime。内核速度：MLAS。开发板：Banana Pi SM10。