21 NAND 文档 EN

在小电脑上跑大模型

不用 FPGA,在 ARM 小电脑上纯 CPU 跑 17 亿参数的二值、三值模型。这页是实测速度和折算到板子的方法。

结论

模型来自 Prism ML 的 Bonsai 系列(Apache-2.0)。

我们自己的运行时 s6rt

项结果
机器x86 台式机,AVX2,4 线程
速度每秒 33–34 个 token(不用 SIMD 的通用 C 版 7.5)
对得上吗同一提示 24 步的 logits,和通用 C 版、aarch64 NEON 版、10-24 的金标准逐字节相同
日期2026-10-30

x86 上实测(llama.cpp)

llama.cpp,纯 CPU,生成 64 个 token。一台 x86 台式机(Ryzen AI Max+ 395),单位 tok/s。

模型文件1 线程2 线程4 线程峰值内存
Bonsai-1.7B Q1_0231 MiB17.431.259.9408 MB
同上,不用 SIMD(通用标量路径)231 MiB1.492.965.88—
Bonsai-4B Q1_0540 MiB7.36—25.8731 MB
Bonsai-8B Q1_01.07 GiB3.97—14.61,295 MB
Ternary-Bonsai-1.7B PQ2_0(PrismML 分支)436 MiB16.9534.061.0930 MB

怎么折算到板子

每种算两个上限,取小的那个。

带宽上限 = 实效内存带宽 ÷ 每个 token 读的字节数。每生成一个 token 要把权重整个读一遍,字节数约等于文件大小。

板子理论带宽实效按
A55 板(LPDDR4)8–10 GB/s60%,即 5–6 GB/s
JH7110约 11 GB/s2–4 GB/s(访存弱,待实机核)

算力上限:

  1. 用 llvm-mca(-mcpu=cortex-a55)数出计算循环每个权重要几拍。
  2. 每 token 拍数 = 权重数 × 每权重拍数,再加 8%(注意力、归一化、激活量化)。
  3. A55 四核 1.8 GHz、并行效率 0.85,约每秒 61 亿拍。
  4. tok/s = 每秒拍数 ÷ 每 token 拍数。主频 2.0 GHz 时乘 1.1。

例子,三值 1.7B:

计算核每权重拍数每 token 拍数tok/s
PrismML 原实现0.67约 12.5 亿4.9
自写切片核,单行 4 组0.41约 7.6 亿8.0
自写切片核,4 行一起0.385约 7.2 亿8.5

权重 17.2 亿个。每 token 读 0.46 GB,按 5–6 GB/s 算,带宽上限 11–13 tok/s。所以再往下优化,卡的是内存,不是计算。

A55 四核折算

1.8–2.0 GHz,NEON,LPDDR4。单位 tok/s。

模型现成 llama.cpp带宽上限自写核(第一版 / 调度做满)内存
Bonsai-1.7B Q1_04–621–256–7 / 约 120.4 GB,1 GB 板可以
Bonsai-4B Q1_01.7–2.69–112.6–3 / 约 50.73 GB,2 GB 板稳
Bonsai-8B Q1_00.8–1.34.7–5.61.3–1.5 / 约 2.51.3 GB,1 GB 板装不下
Ternary-Bonsai-1.7B PQ2_04.911–138–8.5约 0.6 GB(分支版实测 0.93 GB)

二值的自写核在 A55 上只快约 1.2 倍:A55 每拍只能发一条 128 位 NEON 指令,llama.cpp 那条路已经接近下限。三值切片核每个权重只要一条 AND 加 1/16 条 SDOT,所以快约 1.7 倍。

JH7110 折算

4 × U74 1.5 GHz,RV64GC + Zba/Zbb,没有向量扩展。单位 tok/s。

模型现成 llama.cpp(通用标量)带宽上限自写 Zbb cpop 核(估)
Bonsai-1.7B Q1_00.3–0.48–164–6
Bonsai-4B Q1_00.13–0.173.5–71.7–2.6
Bonsai-8B Q1_00.07–0.11.7–3.50.8–1.3

自写运行时 s6rt

读 TBW1 比读 GGUF 现转省多少(x86 实测,A55 折算):

项GGUF 现转TBW1 直读
加载(转布局)1.06–1.35 s0.000 s
到第一个心跳1.22–1.31 s0.09–0.17 s
峰值内存948 MB507 MB
A55 上省掉的转换—约 2–3 s

冷启动从存储读约 460 MB 两条路一样。microSD 按 40–90 MB/s 要 5–12 s,这才是大头。

还没做