AI—01 · NGÔN NGỮThử tách một đoạn văn
Thử tách một đoạn văn
thành từng token.
Chọn tokenizer, dán văn bản rồi xem token, chat template và các chunk thật sự trông ra sao. Không cần API key và cũng không chạy inference.
INPUT
Văn bản cần tokenize
OUTPUT
Bản đồ token
Nạp tokenizer để bắt đầu.
0Token
92Ký tự
—Ký tự / token
4096Còn lại tới mốc
Văn bản chỉ được xử lý trong tab này.
Trình duyệt tải tokenizer từ Hugging Face; nội dung của bạn không được gửi đi.