21 NAND 文档 EN

TBW1 权重格式

TBW1 是模型机的权重文件:固定的二进制布局,整个文件原样上链、原样放进内存、被二值乘加单元直接读。

总体

文件头(64 字节)

偏移长度字段说明
04magicASCII TBW1
42versionu16,1
62n_tensorsu16,张量个数
84alignu32,4096
124file_sizeu32,整个文件的字节数
1632model_id训练配置的 sha256(转换来的模型填源文件的 sha256,只作溯源)
4816保留填 0

张量表项(64 字节)

第 i 项在偏移 64 + 64·i。

偏移类型字段说明
0u32id序号
4u8kind数据类型,见下表
5u8flags标志;TRI2SL 必须为 0
6u16groupscale_kind = 3 时每组几个输入
8u32rows行数(输出通道)
12u32cols列数(输入)
16u32offset数据起点,4096 对齐
20u32bytes数据字节数
24u32scale_offset缩放表起点;没有填 0
28u8scale_kind缩放方式,见下表
29char[27]name张量名,不足补 0
56u8layout只对 kind = 4 有意义,1 = q2sl v1;其余类型填 0
577 字节保留填 0

kind

值名字每个元素用在哪
0BIN11 位,±1二值线性层
1INT81 字节,二补码嵌入、输出头
2INT162 字节norm、偏置、配置、查找表
3FP162 字节非二值部分
4TRI2SL三值,2 位切片三值模型(只给 ARM 小电脑上的运行时)
5FP324 字节三值模型的 norm 原样存

BIN1 位怎么排

  1. 行优先,第 r 行是第 r 个输出通道的权重。
  2. 每行补到 64 位的整数倍:row_words = ceil(cols / 64),一行 row_words × 8 字节。
  3. 每个 64 位字按小端存。第 w 个字的第 i 位对应输入 64·w + i。
  4. 位为 1 表示 +1,位为 0 表示 −1。
  5. 补位一律为 0,乘加单元按 cols 截断。

例:512 行 × 384 列的 BIN1,每行 6 个字、48 字节,共 24,576 字节。

scale_kind

值含义输出
0不缩放y = acc
1每行一个 int16,Q8.8y = (acc · s_r) >> 8
2每行一个 int8 移位量 kk ≥ 0 时 y = acc << k,否则 y = acc >> −k
3每组一个 int16,Q8.8y = (Σ_g acc_g · s_rg) >> 8,每 group 个输入一组

乘加单元算什么

输入 x 是位向量(1 表示 +1)时:

acc = cnt − 2·popcount((x XOR w_r) & mask)      cnt 是参与的输入个数

输入是 n 位二补码整数(n = 2–16)时,x 按位平面存,平面 b 是所有 x_i 的第 b 位:

P_b = 2·popcount(x_b & w_r & mask) − popcount(x_b & mask)
acc = Σ_{b<n−1} 2^b·P_b − 2^{n−1}·P_{n−1}        即 Σ_i w_i·x_i

每个平面和 BIN1 的一行同样排:64 位小端,补位为 0,平面 b 从 X_ADDR + b·row_words·8 开始。

profile:看张量名认模型

有这个张量profile给谁跑
q3.cfgq3s6,三值 Qwen3ARM 小电脑上的 s6rt
qexptbt1,二值 Transformer模型机运行时 TBRT
cfg8w1a8TBRT
都没有bmlp,玩具模型TBRT

例子:玩具模型

toy_bmlp.tbw1,102,400 字节,sha256 11c1c4b177a2308ee64732335335e044e4cf32ce0ddef75210b0d5fa4f5ed568。就是模型机页里跑的那个。

只用 Python 标准库,列出文件头和张量表
python3 - toy_bmlp.tbw1 <<'EOF'
import struct, sys
b = open(sys.argv[1], 'rb').read()
magic, ver, n, align, size = struct.unpack_from('<4sHHII', b, 0)
print(magic, ver, n, align, size, len(b))
for i in range(n):
    tid, kind, flags, group, rows, cols, off, nb, s_off, sk, name, layout = struct.unpack_from('<IBBHIIIIIB27sB7x', b, 64 + 64 * i)
    print(tid, name.rstrip(b'\0').decode(), kind, f'{rows}x{cols}', hex(off), nb, sk)
EOF

输出:

id名字kind行 × 列offsetbytesscale_kind
0embINT8128 × 160x10002,0480
1h0BIN1512 × 3840x200024,5760
2h0.bINT16512 × 10x80001,0240
3h1BIN1512 × 5120x900032,7680
4h1.bINT16512 × 10x110001,0240
5outBIN1128 × 5120x120008,1921
6out.bINT16128 × 10x150002560
7samp.lutINT16256 × 10x160005120
8promptINT816 × 10x17000160
9cfgINT168 × 10x18000160

第一行打印 b'TBW1' 1 10 4096 102400 102400:版本 1,10 个张量,对齐 4096,登记大小和实际大小都是 102,400。