AI—04 · NGÔN NGỮ

Thử temperature,
top-k và top-p.

Chỉnh từng tham số trên một bảng logits nhỏ rồi xem phân bố xác suất và kết quả lấy mẫu thay đổi ra sao.

NGỮ CẢNH GIẢ ĐỊNH

Temperature (chia logits trước softmax)1.0

Top-k (chỉ giữ k token điểm cao nhất)tắt

Top-p / nucleus (giữ nhóm nhỏ nhất đủ p xác suất)tắt

Pipeline đúng thứ tự triển khai phổ biến: logits ÷ T → softmax → cắt top-k → cắt top-p → chia lại cho tổng (renormalize).

đẹpGreedy (T→0 luôn chọn)

12Token còn được phép

2.42Entropy (bit) — độ khó đoán

43.7%Xác suất token top-1

THỬ ĐỂ THẤY

Kéo T xuống 0.1: phân bố dồn hết về một token — "gần như greedy".
Kéo T lên 3: các token xấu ngoi lên — chữ nghĩa bắt đầu lảm nhảm.
Top-p 0.9 cắt đuôi dài thông minh hơn top-k cứng nhắc: số token giữ lại tự co giãn theo độ chắc chắn của model.

PHÂN BỐ SAU PIPELINE

43.7%

19.6%

16.1%

6.5%

4.8%

3.6%

1.8%

1.3%

1.0%

0.8%

0.5%

0.3%

Bấm “Sample 200 lần” để so tần suất thực tế với xác suất lý thuyết.

Mọi phép tính đều ở trong tab này.

Không có dữ liệu nào được gửi lên server.

Thử temperature,top-k và top-p.