AI—06 · NGÔN NGỮ

Dọn data SFT
trước khi train.

Dán JSONL vào để nhận dạng OpenAI, ShareGPT hoặc Alpaca, tìm lỗi cấu trúc, đổi format và kiểm tra mẫu vượt context.

INPUT · JSONL

Mỗi dòng một mẫu, format lẫn lộn cũng được

DÁN JSONL VÀO ĐÂY

Context limit (token)Convert sang

3 FORMAT PHỔ BIẾN

OpenAI messages — {"messages":[{"role":"user","content":"…"}]}
ShareGPT — {"conversations":[{"from":"human","value":"…"}]}
Alpaca — {"instruction":"…","input":"…","output":"…"}

KIỂM TRA & CONVERT

3 mẫu hợp lệ

3Mẫu hợp lệ / 3

1 openai · 1 sharegpt · 1 alpacaFormat phát hiện

34~Token mẫu dài nhất

0Mẫu vượt context 4096

Dòng	Format	Lượt	~Token	Kiểm tra
1	OpenAI	3	34	OK
2	ShareGPT	2	16	OK
3	Alpaca	2	28	OK

OUTPUT · OPENAI MESSAGES

JSONL đã chuẩn hóa

{"messages":[{"role":"system","content":"Bạn là trợ lý kỹ thuật trả lời ngắn gọn."},{"role":"user","content":"Tách train/val thế nào cho đúng?"},{"role":"assistant","content":"Tách theo nhóm dữ liệu gốc, kiểm tra trùng lặp trước khi chia."}]}
{"messages":[{"role":"user","content":"IoU là gì?"},{"role":"assistant","content":"Tỉ lệ diện tích giao trên diện tích hợp của hai box."}]}
{"messages":[{"role":"user","content":"Giải thích khái niệm sau cho người mới.\n\nLearning rate"},{"role":"assistant","content":"Là cỡ bước cập nhật trọng số sau mỗi lần tính gradient."}]}

Chỉ mẫu không có lỗi kiểm tra mới được đưa vào output. Ước token theo heuristic ~4 ký tự/token — cần số chính xác thì dán một mẫu vào AI Text Lab với tokenizer thật. Convert sang Alpaca sẽ gộp system vào instruction và chỉ giữ lượt hỏi–đáp đầu tiên (giới hạn của format đó).

Dataset chỉ được xử lý trong tab này.

Không có nội dung fine-tune nào được gửi lên server.

Dọn data SFTtrước khi train.

Mỗi dòng một mẫu, format lẫn lộn cũng được

3 mẫu hợp lệ

JSONL đã chuẩn hóa

Dọn data SFT
trước khi train.