21 NAND 文档 EN

图变成门

ncd2net 把画好的神经网络结构图编译成只有两输入与非门的网表,并逐位验证。

网表台上每个网表都在你的浏览器里逐门求值,可以当场和浮点模型对比。不连服务器。

它做什么

输入是一张配置好尺寸的 pyncd 图(pyncd 是一个用弦图描述神经网络结构的开源 Python 库)。输出是 TapeOut 格式的与非门网表。

  1. 按图的结构展开成标量整数运算(定点数)。
  2. 跟踪每个值的取值范围,给每根线刚好够用的位宽,不会溢出。
  3. 生成 Verilog,用开源综合工具 yosys / abc 映射成两输入与非门。
  4. 输出网表、整数权重和验证结果。

支持的算子

图里的算子门电路里怎么算
线性层整数乘加,再舍入、饱和
嵌入每个输出维一张查找表
因果 softmax先按行掩码再归一,指数查表
LayerNorm精确求和,开方用逐位开方(只有加减和移位)
加法、ReLU对齐小数位相加 / 取正

另外加了 RoPE、SiLU、带 sink 的注意力、Sinkhorn 等算子。

怎么验证

  1. 逐位对照定点参考。 输入不超过 24 位就穷举全部输入;超过就跑 10 万组随机输入。
  2. 形式等价。 把参考实现和与非门网表做组合等价检查,结论覆盖全部输入。超过 24 位时,这是唯一的证明手段。
  3. 对照浮点。 和 pyncd 自己的 torch 编译(同一组整数权重)比,统计误差。这一步看精度,不算等价证明。

结果(2026-09-17)

格式:激活 10 位、4 位小数;权重 4 位、3 位小数。误差单位是 1/16。

图输入位与非门深度验证对 torch 平均误差
注意力核心241,02494穷举 2^24 一致0.0037
注意力块165,999325穷举 2^16 一致0.021
前馈残差块867461穷举 2^8 一致0.015
一层 Transformer167,809415穷举 2^16 一致0.024
完整一层代数 Transformer4863穷举 2^4 一致0.021
这些是很小尺寸的图,只为证明编译和验证这条路走得通。门数随位宽和查找表大小增长,除法和开方最贵。

下一步