AI—25 · TOÁN & MÔ HÌNHGiảm số bit,
Giảm số bit,
xem sai số đi đâu.
Chỉnh số bit, xem lưới quantization và sai số làm tròn thay đổi, rồi so sánh per-tensor với per-channel.
CẤU HÌNH
Tensor giả lập 4 kênh, mỗi kênh một cỡ weight
3.93e-2RMSE per-tensor
2.32e-2RMSE per-channel
1.7×Per-channel tốt hơn
15Mức giá trị / kênh
SOI MỘT WEIGHT CỤ THỂ
- scale = max|tensor| ÷ 7 = 1.553e-1
- w ÷ scale = 0.47 → round = 0
- giá trị lưu: 0 × scale = 0.000e+0
- sai số: 7.30e-2
LƯỚI GIÁ TRỊ · KÊNH 1
Weight chỉ được nằm trên các vạch
Chấm cam = giá trị thật; chấm đen = vạch gần nhất nó bị ép vào. Ít bit → vạch thưa → rơi xa hơn.
| Kênh | σ thật | max|w| | Scale đang dùng | RMSE | Sai số max |
|---|---|---|---|---|---|
| 1 | 0.02 | 0.066 | 1.55e-1 | 2.04e-2 | 6.56e-2 |
| 2 | 0.05 | 0.144 | 1.55e-1 | 4.21e-2 | 7.74e-2 |
| 3 | 0.1 | 0.292 | 1.55e-1 | 4.51e-2 | 7.73e-2 |
| 4 | 0.4 | 1.087 | 1.55e-1 | 4.43e-2 | 7.67e-2 |
Per-tensor: kênh 4 (weight to) quyết định scale chung, nên kênh 1 (weight nhỏ) bị lưới quá thô nghiền nát — chuyển per-channel thấy RMSE kênh 1 giảm hẳn. Đây chính là lý do các format INT4 thực tế đều dùng scale theo nhóm/kênh.
ĐỔI RA BỘ NHỚ
Cùng một model, mỗi định dạng một cỡ
| Định dạng | Byte / tham số | Bộ nhớ weights | Ghi chú |
|---|---|---|---|
| FP32 | 4 | 26.08 GB | chuẩn khi train |
| FP16 / BF16 | 2 | 13.04 GB | chuẩn khi suy luận GPU |
| INT8 | 1 | 6.52 GB | quantize nhẹ, chất lượng gần nguyên bản |
| INT4 | 0.5 | 3.26 GB | GGUF/AWQ/GPTQ phổ biến ở mức này |
Chỉ là weights — lúc chạy còn cộng thêm KV cache và activation (xem tab Bộ nhớ của AI Math Lab).
Mọi phép tính đều ở trong tab này.
Không có dữ liệu nào được gửi lên server.