21 NAND 文档 EN

极小语言模型

impossible LLM v2:一张 5,142,875 个与非门的网表,读最近 6 个词,一次求值写出下一个词。

怎么用

  1. 打开页面,等它读完网表(压缩后 7.9 MB,解开 36 MB)和分词器(约 2 MB)。
  2. 在输入框里写开头,点「生成 48 个 token」。
  3. 勾选「贪心」,随机位固定为 0,同样的开头每次写出同样的字。

全在浏览器里逐门计算,没有后端。

它怎么工作

每写一个词(token):取最近 6 个 token 的编号(102 位)加 4 个随机位,过 5,142,875 个门,得到 13 位编码,对应 8,192 个常用词里的一个。

几个数

项值
门数5,142,875 个与非门,0 个锁存器
输入 / 输出106 位 / 13 位
教师MiniCPM5-2B,取最可能的那个词
训练语料英文维基 1,000 万、网页 800 万、对话 800 万、中文维基 600 万个 token
表项293,717 个

和教师一致的比例

测试文本v1v2 贪心v2 采样
英文维基0.2350.3090.233
对话0.0740.3030.226
网页0.1160.2410.177
中文维基0.0040.2190.174

教师自己在维基上约 0.49(v1 时测得)。80 条开头各写 48 个词:v1 全部卡进短循环,v2 采样 0%。

怎么验证的

它做不到什么

下一步