图变成门
ncd2net 把画好的神经网络结构图编译成只有两输入与非门的网表,并逐位验证。
网表台上每个网表都在你的浏览器里逐门求值,可以当场和浮点模型对比。不连服务器。
它做什么
输入是一张配置好尺寸的 pyncd 图(pyncd 是一个用弦图描述神经网络结构的开源 Python 库)。输出是 TapeOut 格式的与非门网表。
- 按图的结构展开成标量整数运算(定点数)。
- 跟踪每个值的取值范围,给每根线刚好够用的位宽,不会溢出。
- 生成 Verilog,用开源综合工具 yosys / abc 映射成两输入与非门。
- 输出网表、整数权重和验证结果。
支持的算子
| 图里的算子 | 门电路里怎么算 |
|---|---|
| 线性层 | 整数乘加,再舍入、饱和 |
| 嵌入 | 每个输出维一张查找表 |
| 因果 softmax | 先按行掩码再归一,指数查表 |
| LayerNorm | 精确求和,开方用逐位开方(只有加减和移位) |
| 加法、ReLU | 对齐小数位相加 / 取正 |
另外加了 RoPE、SiLU、带 sink 的注意力、Sinkhorn 等算子。
怎么验证
- 逐位对照定点参考。 输入不超过 24 位就穷举全部输入;超过就跑 10 万组随机输入。
- 形式等价。 把参考实现和与非门网表做组合等价检查,结论覆盖全部输入。超过 24 位时,这是唯一的证明手段。
- 对照浮点。 和 pyncd 自己的 torch 编译(同一组整数权重)比,统计误差。这一步看精度,不算等价证明。
结果(2026-09-17)
格式:激活 10 位、4 位小数;权重 4 位、3 位小数。误差单位是 1/16。
| 图 | 输入位 | 与非门 | 深度 | 验证 | 对 torch 平均误差 |
|---|---|---|---|---|---|
| 注意力核心 | 24 | 1,024 | 94 | 穷举 2^24 一致 | 0.0037 |
| 注意力块 | 16 | 5,999 | 325 | 穷举 2^16 一致 | 0.021 |
| 前馈残差块 | 8 | 674 | 61 | 穷举 2^8 一致 | 0.015 |
| 一层 Transformer | 16 | 7,809 | 415 | 穷举 2^16 一致 | 0.024 |
| 完整一层代数 Transformer | 4 | 86 | 3 | 穷举 2^4 一致 | 0.021 |
这些是很小尺寸的图,只为证明编译和验证这条路走得通。门数随位宽和查找表大小增长,除法和开方最贵。