AI—24 · TOÁN & MÔ HÌNHVẽ learning rate
Vẽ learning rate
ra xem thử.
Đặt cosine, warmup, step decay và exponential lên cùng một trục rồi chỉnh tham số để xem từng đường cong thay đổi.
5.91e−4Cosine + warmup
5.05e−4Cosine
1.00e−4Step decay
Cosine: min + ½(base−min)(1+cos(πt/T)) · Exponential: base·(min/base)^(t/T) · Step: base·γ^⌊t/size⌋ · Warmup: tăng tuyến tính 0 → base trong số bước warmup.
Đường cong được vẽ ngay trong tab này.
Không có dữ liệu nào được gửi lên server.