mirror of
https://github.com/uxlfoundation/oneDNN.git
synced 2025-10-20 18:43:49 +08:00
359 lines
8.1 KiB
Plaintext
359 lines
8.1 KiB
Plaintext
--reset
|
|
|
|
# int8 wei decompression
|
|
--skip-impl=ref
|
|
--wtag=any,ab,ba
|
|
--dt=bf16:s8:bf16,bf16:u8:bf16
|
|
--attr-scales=wei:common:2,wei:per_oc:bf16
|
|
--attr-fpmath=bf16:true
|
|
--batch=shapes_2d
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--wtag=any,ab,ba
|
|
--dt=f16:s8:f16,f16:u8:f16
|
|
--attr-scales=wei:common:2,wei:per_oc,wei:per_ocic:f16
|
|
--attr-zero-points=,wei:common:2,wei:per_oc,wei:per_ocic:s8
|
|
--attr-fpmath=f16:true
|
|
--batch=shapes_2d_ci
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--wtag=any,abc,acb
|
|
--dt=bf16:s8:bf16,bf16:u8:bf16
|
|
--attr-scales=wei:per_ocic:bf16:32x1
|
|
--attr-zero-points=,wei:per_ocic:u8:64x1
|
|
--attr-fpmath=bf16:true
|
|
1x5x128:1x128x17
|
|
3x5x128:3x128x17
|
|
3x5x128:1x128x17
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f32:s8:f32
|
|
--attr-fpmath=f16:true,bf16:true,tf32:true
|
|
--attr-scales=wei:common:2,wei:per_oc,wei:per_ocic:f16
|
|
--attr-zero-points=,wei:common:2,wei:per_oc,wei:per_ocic:s8
|
|
77x133:133x117
|
|
15x24x16:15x16x32
|
|
7x16x24x8:7x16x8x24
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--stag=ba
|
|
--dt=bf16:s8:bf16,bf16:u8:bf16
|
|
--attr-scales=wei:common:2,wei:per_oc:bf16
|
|
--attr-fpmath=bf16:true
|
|
40x20:20x36
|
|
41x21:21x37
|
|
1x4096:4096x2048
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--stag=ba
|
|
--dt=bf16:s8:bf16
|
|
--attr-scales=wei:per_ocic:bf16:128x1
|
|
--attr-fpmath=bf16:true
|
|
2048x4096:4096x2048
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--stag=ba
|
|
--dt=f16:s8:f16,f16:u8:f16
|
|
--attr-scales=wei:common:2,wei:per_oc:f16
|
|
--attr-fpmath=f16:true
|
|
40x20:20x36
|
|
41x21:21x37
|
|
1x4096:4096x2048
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:s8:bf16,bf16:u8:bf16
|
|
--wtag=any,ab,ba
|
|
--attr-scales=wei:common:2,wei:per_oc:bf16
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u8
|
|
--attr-fpmath=bf16:true
|
|
1x4096:4096x4096
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s8:f16,f16:u8:f16
|
|
--wtag=any,ab,ba
|
|
--attr-scales=wei:common:2,wei:per_oc:f16
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u8
|
|
--attr-fpmath=f16:true
|
|
1x4096:4096x4096
|
|
|
|
--reset
|
|
--bia_mask=4
|
|
--dt=f16:u8:f16
|
|
--bia-dt=f16
|
|
--stag=abc
|
|
--wtag=cab
|
|
--dtag=abc
|
|
--attr-scales=wei:per_tensor:f16:16x1
|
|
--attr-zero-points=wei:per_tensor:u8:16x1
|
|
--attr-fpmath=f16:true
|
|
64x1x2048:1x2048x2560
|
|
|
|
## 4D cases with full mask
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:s8:bf16,bf16:u8:bf16
|
|
--wtag=any,abcd,abdc
|
|
--attr-scales=wei:per_tensor:bf16:128x1
|
|
--attr-zero-points=wei:per_tensor:u8:128x1
|
|
--attr-fpmath=bf16:true
|
|
2x3x5x512:2x3x512x1024
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s8:f16,f16:u8:f16
|
|
--wtag=any,abcd,abdc
|
|
--attr-scales=wei:per_tensor:f16:128x1
|
|
--attr-zero-points=wei:per_tensor:u8:128x1
|
|
--attr-fpmath=f16:true
|
|
2x3x5x512:2x3x512x1024
|
|
|
|
# int4 wei decompression
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:s4:bf16,bf16:u4:bf16
|
|
--wtag=any,abc,acb
|
|
--attr-scales=wei:common:2,wei:per_oc:bf16,wei:per_ocic:bf16:32x1
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u4,wei:per_ocic:s4,wei:per_ocic:s4:32x1
|
|
--attr-fpmath=bf16:true
|
|
7x24x32:7x32x64
|
|
7x25x32:1x32x66
|
|
3x96x96:3x96x64
|
|
3x14x96:1x96x78
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s4:f16,f16:u4:f16
|
|
--wtag=any,abc,acb
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u4,wei:per_ocic:u4,wei:per_ocic:u4:128x1
|
|
--attr-fpmath=f16:true
|
|
2x40x256:2x256x64
|
|
7x41x256:1x256x64
|
|
3x96x512:3x512x64
|
|
3x6x512:1x512x62
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:s4:bf16,bf16:u4:bf16
|
|
--wtag=any,ab,ba
|
|
--attr-scales=wei:common:2,wei:per_oc:bf16,wei:per_ocic:bf16:128x1
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u4,wei:per_ocic:u4,wei:per_ocic:u4:128x1
|
|
--attr-fpmath=bf16:true
|
|
1x4096:4096x4096
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s4:f16,f16:u4:f16
|
|
--wtag=any,ab,ba
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
--attr-zero-points=wei:common:1:u8,wei:per_oc:u4,wei:per_ocic:u4,wei:per_ocic:u4:128x1
|
|
--attr-fpmath=f16:true
|
|
1x4096:4096x4096
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s4:f32
|
|
--wtag=any,ab,ba
|
|
--attr-scales=wei:per_ocic:f32:64x1
|
|
--attr-fpmath=f16:true
|
|
5x4096:4096x4096
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:s4:bf16,bf16:u4:bf16
|
|
--wtag=any,abcd,abdc
|
|
--attr-scales=wei:per_tensor:bf16:128x1
|
|
--attr-zero-points=wei:per_tensor:u4:128x1
|
|
--attr-fpmath=bf16:true
|
|
2x3x5x512:2x3x512x1024
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s4:f16,f16:u4:f16
|
|
--wtag=any,abcd,abdc
|
|
--attr-scales=wei:per_tensor:f16:128x1
|
|
--attr-zero-points=wei:per_tensor:u4:128x1
|
|
--attr-fpmath=f16:true
|
|
2x3x5x512:2x3x512x1024
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:s4:f16,f16:u4:f16
|
|
--strides=:1x128: # Need strides over tag to overcome the API limitation
|
|
--attr-scales=wei:per_tensor:f16:127x1
|
|
--attr-fpmath=f16:true
|
|
32x127:127x63_n"odd_k_single_group"
|
|
|
|
--reset
|
|
--bia_mask=4
|
|
--dt=f16:u4:f16
|
|
--bia-dt=f16
|
|
--stag=abc
|
|
--wtag=cab
|
|
--dtag=abc
|
|
--attr-scales=wei:per_tensor:f16:16x1
|
|
--attr-zero-points=wei:per_tensor:u8:16x1
|
|
--attr-fpmath=f16:true
|
|
64x1x2048:1x2048x2560
|
|
|
|
# fp8 weights decompression
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:f8_e5m2:f16,f16:f8_e4m3:f16
|
|
--wtag=any,abc,acb
|
|
--attr-fpmath=f16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
2x40x256:2x256x64
|
|
7x41x256:1x256x64
|
|
3x96x512:3x512x64
|
|
3x6x512:1x512x62
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:f8_e5m2:f16,f16:f8_e4m3:f16
|
|
--wtag=any,ab,ba
|
|
--attr-fpmath=f16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
1x4096:4096x4096
|
|
|
|
# fp4 weights decompression
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:f4_e2m1:f16,f16:f4_e3m0:f16
|
|
--wtag=any,abc,acb
|
|
--attr-fpmath=f16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
2x40x256:2x256x64
|
|
7x41x256:1x256x64
|
|
3x96x512:3x512x64
|
|
3x6x512:1x512x62
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:f4_e2m1:f16,f16:f4_e3m0:f16
|
|
--wtag=any,ab,ba
|
|
--attr-fpmath=f16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
1x4096:4096x4096
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=bf16:f4_e2m1:bf16,bf16:f4_e3m0:bf16
|
|
--wtag=any,abc,acb
|
|
--attr-fpmath=bf16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
2x40x256:2x256x64
|
|
7x41x256:1x256x64
|
|
3x96x512:3x512x64
|
|
3x6x512:1x512x62
|
|
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f16:f4_e2m1:f16,f16:f4_e3m0:f16
|
|
--wtag=any,ab,ba
|
|
--attr-fpmath=f16:true
|
|
--attr-scales=wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:128x1
|
|
1x4096:4096x4096
|
|
# Dynamic quantization (int8 src, int4/int8 weights)
|
|
--reset
|
|
--skip-impl=ref
|
|
--wtag=any,ab,ba
|
|
--dt=s8:s8:f16
|
|
--attr-scales=src:common:0.5:f32+wei:per_oc:f16
|
|
4x256:256x64
|
|
6x384:384x100
|
|
|
|
--wtag=any,ab,ba
|
|
--dt=s8:s4:f16
|
|
--attr-scales=src:per_ocic:f16:1x256+wei:per_ocic:f16:128x1
|
|
--attr-zero-points=wei:per_ocic:s4:128x1,src:per_ocic:s4:1x128+wei:per_ocic:s4:128x1
|
|
4x256:256x64
|
|
6x256:256x100
|
|
|
|
--wtag=any,ab,ba
|
|
--dt=s8:u8:f16
|
|
--attr-scales=src:per_ocic:f16:1x256+wei:per_ocic:f16:128x1
|
|
4x256:256x64
|
|
6x256:256x100
|
|
|
|
--wtag=any,abc,acb
|
|
--dt=s8:u4:f32
|
|
--attr-scales=src:per_ocic:f16:1x192+wei:per_ocic:f16:192x1
|
|
--attr-zero-points=wei:per_ocic:u4:192x1,src:per_ocic:s4:1x192+wei:per_ocic:u4:192x1
|
|
12x4x576:12x576x192
|
|
12x6x192:12x192x100
|
|
|
|
--wtag=any,abcd,abdc
|
|
--dt=s8:s4:f16
|
|
--attr-scales=src:per_ocic:f16:1x256+wei:per_tensor:f16:128x1
|
|
--attr-zero-points=wei:per_tensor:s4:128x1,src:per_ocic:u4:1x256+wei:per_tensor:s4:128x1
|
|
2x3x4x256:2x3x256x64
|
|
2x3x6x256:2x3x256x100
|
|
|
|
# f32 + weight decomression
|
|
--reset
|
|
--skip-impl=ref
|
|
--dt=f32:s4:f32,f32:u4:f32,f32:s8:f32,f32:u8:f32
|
|
--wtag=any,ab,ba
|
|
--attr-fpmath=strict:true
|
|
1x4096:4096x4096
|
|
|
|
--skip-impl=ref
|
|
--dt=f32:s4:f32,f32:u4:f32,f32:s8:f32,f32:u8:f32
|
|
--wtag=any,abc,acb
|
|
--attr-fpmath=strict:true
|
|
2x40x256:2x256x64
|
|
7x41x256:1x256x64
|
|
3x96x512:3x512x64
|
|
3x6x512:1x512x62
|
|
|
|
--skip-impl=ref
|
|
--dt=f32:s4:f32,f32:u4:f32
|
|
--wtag=any,ab,ba
|
|
--attr-scales=,wei:common:0.5:f32,wei:per_ocic:f32:32x1
|
|
--attr-zero-points=,wei:common:2,wei:per_oc:s4
|
|
--attr-fpmath=strict:true
|
|
1x4096:4096x4096
|
|
|
|
--skip-impl=ref
|
|
--dt=f32:s8:f32,f32:u8:f32
|
|
--wtag=any,ab,ba
|
|
--attr-scales=,wei:common:0.5:f32,wei:per_ocic:f32:32x1
|
|
--attr-zero-points=,wei:common:2,wei:per_ocic:s8:32x1
|
|
--attr-fpmath=strict:true
|
|
1x4096:4096x4096
|
|
|
|
|
|
## Additional grouped scales/ZP testing
|
|
--reset
|
|
--dt=f16:s4:f16
|
|
--wtag=abc,acb
|
|
--attr-scales=,wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:192x1
|
|
--attr-zero-points=,wei:common:2,wei:per_oc:s4,wei:per_ocic:s4:192x1
|
|
--attr-fpmath=f16:true
|
|
12x4x576:12x576x192
|
|
|
|
--reset
|
|
--dt=bf16:s4:bf16
|
|
--wtag=abc,acb
|
|
--attr-scales=,wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:192x1
|
|
--attr-zero-points=,wei:common:2,wei:per_oc:s4,wei:per_ocic:s4:192x1
|
|
--attr-fpmath=bf16:true
|
|
12x4x576:12x576x192
|
|
|
|
--reset
|
|
--dt=f32:s4:f32
|
|
--wtag=abc,acb
|
|
--attr-scales=,wei:common:2,wei:per_oc:f16,wei:per_ocic:f16:192x1
|
|
--attr-zero-points=,wei:common:2,wei:per_oc:s4,wei:per_ocic:s4:192x1
|
|
--attr-fpmath=strict:true
|
|
12x4x576:12x576x192
|