# 在小电脑上跑大模型

> 不用 FPGA，在 ARM 小电脑上纯 CPU 跑 17 亿参数的二值、三值模型。这页是实测速度和折算到板子的方法。

## 结论

- **模型**：三值 Ternary-Bonsai-1.7B（PQ2_0，436 MiB）。质量接近二值 4B，体积和速度接近二值 1.7B，中文问答明显更好。
- **板子**：Cortex-A55 四核（带 NEON）优先，JH7110 排第二。
- **速度**：A55 四核折算约 8–8.5 tok/s（自写三值核），原实现约 4.9 tok/s。内存带宽上限约 11–13 tok/s。
- 板上数字全部是折算，还没有上实机。

模型来自 Prism ML 的 Bonsai 系列（Apache-2.0）。

## 我们自己的运行时 s6rt

| 项 | 结果 |
|---|---|
| 机器 | x86 台式机，AVX2，4 线程 |
| 速度 | 每秒 33–34 个 token（不用 SIMD 的通用 C 版 7.5） |
| 对得上吗 | 同一提示 24 步的 logits，和通用 C 版、aarch64 NEON 版、10-24 的金标准逐字节相同 |
| 日期 | 2026-10-30 |

## x86 上实测（llama.cpp）

llama.cpp，纯 CPU，生成 64 个 token。一台 x86 台式机（Ryzen AI Max+ 395），单位 tok/s。

| 模型 | 文件 | 1 线程 | 2 线程 | 4 线程 | 峰值内存 |
|---|---|---|---|---|---|
| Bonsai-1.7B Q1_0 | 231 MiB | 17.4 | 31.2 | 59.9 | 408 MB |
| 同上，不用 SIMD（通用标量路径） | 231 MiB | 1.49 | 2.96 | 5.88 | — |
| Bonsai-4B Q1_0 | 540 MiB | 7.36 | — | 25.8 | 731 MB |
| Bonsai-8B Q1_0 | 1.07 GiB | 3.97 | — | 14.6 | 1,295 MB |
| Ternary-Bonsai-1.7B PQ2_0（PrismML 分支） | 436 MiB | 16.95 | 34.0 | 61.0 | 930 MB |

- 不用 SIMD 慢约 11 倍。所以没有向量扩展的 JH7110 不能直接用现成 llama.cpp。
- 三值 PQ2_0 文件要用 PrismML 的 llama.cpp 分支才读得进。

## 怎么折算到板子

每种算两个上限，取小的那个。

**带宽上限** = 实效内存带宽 ÷ 每个 token 读的字节数。每生成一个 token 要把权重整个读一遍，字节数约等于文件大小。

| 板子 | 理论带宽 | 实效按 |
|---|---|---|
| A55 板（LPDDR4） | 8–10 GB/s | 60%，即 5–6 GB/s |
| JH7110 | 约 11 GB/s | 2–4 GB/s（访存弱，待实机核） |

**算力上限**：

1. 用 llvm-mca（`-mcpu=cortex-a55`）数出计算循环每个权重要几拍。
2. 每 token 拍数 = 权重数 × 每权重拍数，再加 8%（注意力、归一化、激活量化）。
3. A55 四核 1.8 GHz、并行效率 0.85，约每秒 61 亿拍。
4. tok/s = 每秒拍数 ÷ 每 token 拍数。主频 2.0 GHz 时乘 1.1。

例子，三值 1.7B：

| 计算核 | 每权重拍数 | 每 token 拍数 | tok/s |
|---|---|---|---|
| PrismML 原实现 | 0.67 | 约 12.5 亿 | 4.9 |
| 自写切片核，单行 4 组 | 0.41 | 约 7.6 亿 | 8.0 |
| 自写切片核，4 行一起 | 0.385 | 约 7.2 亿 | 8.5 |

权重 17.2 亿个。每 token 读 0.46 GB，按 5–6 GB/s 算，带宽上限 11–13 tok/s。所以再往下优化，卡的是内存，不是计算。

## A55 四核折算

1.8–2.0 GHz，NEON，LPDDR4。单位 tok/s。

| 模型 | 现成 llama.cpp | 带宽上限 | 自写核（第一版 / 调度做满） | 内存 |
|---|---|---|---|---|
| Bonsai-1.7B Q1_0 | 4–6 | 21–25 | 6–7 / 约 12 | 0.4 GB，1 GB 板可以 |
| Bonsai-4B Q1_0 | 1.7–2.6 | 9–11 | 2.6–3 / 约 5 | 0.73 GB，2 GB 板稳 |
| Bonsai-8B Q1_0 | 0.8–1.3 | 4.7–5.6 | 1.3–1.5 / 约 2.5 | 1.3 GB，1 GB 板装不下 |
| Ternary-Bonsai-1.7B PQ2_0 | 4.9 | 11–13 | 8–8.5 | 约 0.6 GB（分支版实测 0.93 GB） |

二值的自写核在 A55 上只快约 1.2 倍：A55 每拍只能发一条 128 位 NEON 指令，llama.cpp 那条路已经接近下限。三值切片核每个权重只要一条 AND 加 1/16 条 SDOT，所以快约 1.7 倍。

## JH7110 折算

4 × U74 1.5 GHz，RV64GC + Zba/Zbb，没有向量扩展。单位 tok/s。

| 模型 | 现成 llama.cpp（通用标量） | 带宽上限 | 自写 Zbb `cpop` 核（估） |
|---|---|---|---|
| Bonsai-1.7B Q1_0 | 0.3–0.4 | 8–16 | 4–6 |
| Bonsai-4B Q1_0 | 0.13–0.17 | 3.5–7 | 1.7–2.6 |
| Bonsai-8B Q1_0 | 0.07–0.1 | 1.7–3.5 | 0.8–1.3 |

## 自写运行时 s6rt

- 直接读 GGUF，或读转好布局的 [TBW1](../reference/tbw1.md) 文件，自己算 Qwen3 前向。
- x86 和 aarch64（NEON）两边的 logits 逐位相同。全程 `-ffp-contract=off`。
- 自写 BPE 分词，和 llama.cpp 的分词逐个一致；终端里能直接打字提问（x86 上实测过一问一答，回答和直接运行逐字节相同；板上还没实跑）。
- 有心跳，可以经 TapeBoot 启动，见[从链上取固件](tapeboot.md)。
- x86 上 4 线程约 33 tok/s（AVX2）。这只说明能跑，不代表板上速度。

读 TBW1 比读 GGUF 现转省多少（x86 实测，A55 折算）：

| 项 | GGUF 现转 | TBW1 直读 |
|---|---|---|
| 加载（转布局） | 1.06–1.35 s | 0.000 s |
| 到第一个心跳 | 1.22–1.31 s | 0.09–0.17 s |
| 峰值内存 | 948 MB | 507 MB |
| A55 上省掉的转换 | — | 约 2–3 s |

冷启动从存储读约 460 MB 两条路一样。microSD 按 40–90 MB/s 要 5–12 s，这才是大头。

## 还没做

- 上实机，量 A55 和 JH7110 的真实带宽和速度。
