极小语言模型
impossible LLM v2:一张 5,142,875 个与非门的网表,读最近 6 个词,一次求值写出下一个词。
怎么用
- 打开页面,等它读完网表(压缩后 7.9 MB,解开 36 MB)和分词器(约 2 MB)。
- 在输入框里写开头,点「生成 48 个 token」。
- 勾选「贪心」,随机位固定为 0,同样的开头每次写出同样的字。
全在浏览器里逐门计算,没有后端。
它怎么工作
每写一个词(token):取最近 6 个 token 的编号(102 位)加 4 个随机位,过 5,142,875 个门,得到 13 位编码,对应 8,192 个常用词里的一个。
- 结构是 6 层回退查表:先找最近 6 个词的表项,找不到就退到 5 个,一直退到 1 个。
- 每个表项存教师模型(MiniCPM5-2B)在这个上下文里最常给的 3 个答案和比例。随机位按比例选一个。
- 浏览器里每个词约 10 ms。
几个数
| 项 | 值 |
|---|---|
| 门数 | 5,142,875 个与非门,0 个锁存器 |
| 输入 / 输出 | 106 位 / 13 位 |
| 教师 | MiniCPM5-2B,取最可能的那个词 |
| 训练语料 | 英文维基 1,000 万、网页 800 万、对话 800 万、中文维基 600 万个 token |
| 表项 | 293,717 个 |
和教师一致的比例
| 测试文本 | v1 | v2 贪心 | v2 采样 |
|---|---|---|---|
| 英文维基 | 0.235 | 0.309 | 0.233 |
| 对话 | 0.074 | 0.303 | 0.226 |
| 网页 | 0.116 | 0.241 | 0.177 |
| 中文维基 | 0.004 | 0.219 | 0.174 |
教师自己在维基上约 0.49(v1 时测得)。80 条开头各写 48 个词:v1 全部卡进短循环,v2 采样 0%。
怎么验证的
- 网表和查表规则逐位一致:全部 293,717 个表项 × 16 种随机位、20 万条随机输入、四类测试文本各约 20 万条,0 处不一致。
- 页面里的求值器在 4,000 条输入上和参考 0 处不一致。
它做不到什么
- 写不出连贯的话。它只看最近 6 个词,句子常在中文、英文、代码之间乱跳。
- 偶尔出现「�」:一个汉字由几个字节拼成,有时只写出一部分。
- 不会调用工具、没有记忆。
- 没有上链。 按容器成本模型估算,一步约 116 亿 gas,约 170 个区块,实际上不可能在链上执行。这个模型只在 5,300 门以内实测过,这里外推了约 1,000 倍。
下一步
- 链上跑大模型要多少钱
- 门电路大脑:整个 BitCPM4-1B 换成门,在显卡上算。