# 极小语言模型

> impossible LLM v2：一张 5,142,875 个与非门的网表，读最近 6 个词，一次求值写出下一个词。

::: buttons
- [在浏览器里试](https://nand.aihashrate.stream/impossibleLLM/)
- [v1 存档](https://nand.aihashrate.stream/impossibleLLM/v1/)
:::

## 怎么用

1. 打开页面，等它读完网表（压缩后 7.9 MB，解开 36 MB）和分词器（约 2 MB）。
2. 在输入框里写开头，点「生成 48 个 token」。
3. 勾选「贪心」，随机位固定为 0，同样的开头每次写出同样的字。

全在浏览器里逐门计算，没有后端。

## 它怎么工作

每写一个词（token）：取最近 6 个 token 的编号（102 位）加 4 个随机位，过 5,142,875 个门，得到 13 位编码，对应 8,192 个常用词里的一个。

- 结构是 6 层回退查表：先找最近 6 个词的表项，找不到就退到 5 个，一直退到 1 个。
- 每个表项存教师模型（MiniCPM5-2B）在这个上下文里最常给的 3 个答案和比例。随机位按比例选一个。
- 浏览器里每个词约 10 ms。

## 几个数

| 项 | 值 |
|---|---|
| 门数 | 5,142,875 个与非门，0 个锁存器 |
| 输入 / 输出 | 106 位 / 13 位 |
| 教师 | MiniCPM5-2B，取最可能的那个词 |
| 训练语料 | 英文维基 1,000 万、网页 800 万、对话 800 万、中文维基 600 万个 token |
| 表项 | 293,717 个 |

## 和教师一致的比例

| 测试文本 | v1 | v2 贪心 | v2 采样 |
|---|---|---|---|
| 英文维基 | 0.235 | 0.309 | 0.233 |
| 对话 | 0.074 | 0.303 | 0.226 |
| 网页 | 0.116 | 0.241 | 0.177 |
| 中文维基 | 0.004 | 0.219 | 0.174 |

教师自己在维基上约 0.49（v1 时测得）。80 条开头各写 48 个词：v1 全部卡进短循环，v2 采样 0%。

## 怎么验证的

- 网表和查表规则逐位一致：全部 293,717 个表项 × 16 种随机位、20 万条随机输入、四类测试文本各约 20 万条，0 处不一致。
- 页面里的求值器在 4,000 条输入上和参考 0 处不一致。

## 它做不到什么

- 写不出连贯的话。它只看最近 6 个词，句子常在中文、英文、代码之间乱跳。
- 偶尔出现「�」：一个汉字由几个字节拼成，有时只写出一部分。
- 不会调用工具、没有记忆。
- **没有上链。** 按容器成本模型估算，一步约 116 亿 gas，约 170 个区块，实际上不可能在链上执行。这个模型只在 5,300 门以内实测过，这里外推了约 1,000 倍。

## 下一步

- [链上跑大模型要多少钱](cost.md)
- [门电路大脑](index.md)：整个 BitCPM4-1B 换成门，在显卡上算。
