Chunking trong RAG: cắt tài liệu sai thì kết quả hỏng
Một đội làm chatbot tra cứu quy chế cho công ty, chọn cách cắt tài liệu nhanh nhất: cứ 500 ký tự một đoạn. Nhân viên hỏi "Đi công tác Hà Nội được thanh toán khách sạn tối đa bao nhiêu một đêm?". Bot trả lời: "Mức tối đa là 1.200.000 đồng". Con số đó có thật trong quy chế, nhưng là mức của nhóm địa bàn khác.
Lý do: bảng mức khách sạn bị cắt làm đôi. Đoạn thứ nhất chứa tiêu đề "Nhóm 1: Hà Nội, TP. Hồ Chí Minh" và nửa trên bảng. Đoạn thứ hai chứa nửa dưới bảng, gồm cả con số 1.200.000, nhưng không còn dòng nào nói nó thuộc nhóm nào. Bước tìm kiếm trả về đoạn thứ hai, và model làm đúng việc của nó: trả lời theo đoạn được đưa.
Đây là lý do chunking thường là bước quyết định chất lượng của cả hệ thống RAG. Bài này giải thích chunking là gì, các cách cắt phổ biến, cách cắt riêng cho văn bản tiếng Việt kiểu "Điều, Khoản", và cách đo để biết mình cắt đúng hay chưa.
Chunking là gì và vì sao phải cắt
Chunking là việc chia tài liệu dài thành các đoạn nhỏ (chunk). Mỗi chunk được biến thành một vector embedding và lưu lại để tìm kiếm. Khi người dùng hỏi, hệ thống tìm vài chunk gần nhất và đưa vào prompt.
Tại sao không lưu nguyên cả tài liệu? Vì hai lý do:
Một vector cho cả tài liệu 40 trang thì quá "loãng". Embedding nén ý nghĩa của cả đoạn vào một mảng số. Tài liệu nói về 20 chủ đề thì vector của nó là trung bình mờ nhạt của 20 chủ đề, khó khớp với câu hỏi cụ thể nào.
Prompt chỉ nên chứa phần liên quan. Đưa nguyên 40 trang vào để trả lời một câu về khách sạn là tốn token và làm model phân tâm.
Nhưng cắt quá nhỏ cũng hỏng: đoạn 2 câu thường thiếu ngữ cảnh, như ví dụ bảng bị cắt ở trên. Chunking là bài toán cân bằng giữa đủ cụ thể để tìm trúng và đủ trọn vẹn để trả lời đúng.

Các cách chunking phổ biến
Cắt theo độ dài cố định, có chồng lấn
Cách đơn giản nhất: cứ N token (hoặc ký tự) một đoạn, các đoạn liền nhau chồng lên nhau một phần (overlap) để giảm việc câu bị cắt giữa chừng. Ưu điểm là dễ làm, áp dụng được cho mọi loại văn bản. Nhược điểm là nó không biết đâu là ranh giới ý: có thể cắt giữa bảng, giữa danh sách, giữa một điều khoản.
Phù hợp cho văn bản không có cấu trúc rõ: biên bản họp, email, bài viết tự do.
Cắt theo cấu trúc tài liệu
Dùng chính cấu trúc có sẵn để cắt: heading của Markdown, mục của file Word, "Chương, Điều, Khoản" của văn bản quy phạm. Mỗi chunk là một đơn vị ý trọn vẹn. Đây thường là cách tốt nhất cho tài liệu doanh nghiệp, vì phần lớn quy chế, quy trình, hướng dẫn đều có cấu trúc.
Điều kiện là bạn phải trích được cấu trúc. Từ file Word hoặc Markdown thì dễ. Từ PDF scan thì khó hơn nhiều, và bước chuyển PDF sang văn bản có cấu trúc thường tốn công hơn cả phần còn lại của pipeline.
Cắt theo ngữ nghĩa (semantic chunking)
Tính embedding cho từng câu, đặt ranh giới chunk ở chỗ ý nghĩa giữa hai câu liên tiếp thay đổi nhiều. Nghe hay, nhưng tốn chi phí lúc index, khó dự đoán, và trên tài liệu có cấu trúc thì thường không hơn cắt theo cấu trúc. Nên thử sau khi các cách đơn giản không đủ.
Parent-child: tìm bằng đoạn nhỏ, gửi đoạn lớn
Lưu hai cấp: đoạn nhỏ (child, ví dụ từng khoản) để tìm kiếm cho trúng, và đoạn lớn (parent, ví dụ cả điều) để đưa vào prompt. Khi đoạn nhỏ được tìm thấy, hệ thống lấy đoạn cha của nó gửi cho model. Cách này giải quyết đúng mâu thuẫn "nhỏ để tìm trúng, lớn để đủ ngữ cảnh".
| Cách | Độ khó | Hợp với | Rủi ro chính |
|---|---|---|---|
| Độ dài cố định + overlap | Thấp | Văn bản tự do, không cấu trúc | Cắt giữa bảng, giữa ý |
| Theo cấu trúc | Trung bình | Quy chế, quy trình, hướng dẫn, FAQ | Điều quá dài vẫn phải cắt tiếp |
| Theo ngữ nghĩa | Cao | Văn bản dài, chuyển chủ đề liên tục | Tốn chi phí index, khó debug |
| Parent-child | Trung bình | Tài liệu có cấp bậc rõ | Phức tạp hơn khi lưu và cập nhật |
Chunking văn bản tiếng Việt kiểu "Điều, Khoản"
Quy chế, nội quy, hợp đồng ở Việt Nam thường theo một khuôn quen thuộc: "Chương I", "Điều 7. Tiền thuê phòng nghỉ", "1.", "2.", "a)", "b)". Đây là món quà cho chunking: ranh giới ý đã được người soạn đánh dấu sẵn.
Ba nguyên tắc nên áp dụng:
Mỗi Điều là một chunk nếu độ dài vừa phải. Điều quá dài thì cắt theo Khoản, nhưng mỗi Khoản vẫn mang theo tiêu đề của Điều.
Gắn "đường dẫn" vào đầu mỗi chunk: tên văn bản, chương, điều. Một khoản tách riêng ghi "Mức tối đa 1.200.000 đồng" thì vô nghĩa; khi có dòng đầu "Quy chế công tác phí 2026 > Điều 7. Tiền thuê phòng nghỉ > Khoản 2 (Nhóm 2)" thì cả bước tìm và bước trả lời đều chính xác hơn.
Không bao giờ cắt giữa bảng. Bảng được giữ nguyên trong một chunk. Bảng quá dài thì cắt theo nhóm dòng, và mỗi phần lặp lại dòng tiêu đề của bảng.
Ví dụ C# cắt văn bản đã chuyển sang dạng text theo "Điều N." và gắn tiêu đề. Đây là bản tối giản để minh họa ý tưởng, chưa xử lý bảng hay Khoản lồng nhau:
using System.Text.RegularExpressions;
public sealed record Chunk(string DocumentName, string Section, string Text);
public static class ArticleChunker
{
// Dòng bắt đầu bằng "Điều 7." hoặc "Điều 12."
private static readonly Regex ArticleHeader =
new(@"^Điều\s+\d+\.", RegexOptions.Multiline);
public static IEnumerable<Chunk> Split(string documentName, string text, int maxChars = 3000)
{
var matches = ArticleHeader.Matches(text);
for (var i = 0; i < matches.Count; i++)
{
var start = matches[i].Index;
var end = i + 1 < matches.Count ? matches[i + 1].Index : text.Length;
var body = text[start..end].Trim();
var title = body.Split('\n', 2)[0].Trim(); // "Điều 7. Tiền thuê phòng nghỉ"
var header = $"{documentName} > {title}";
if (body.Length <= maxChars)
{
yield return new Chunk(documentName, title, $"{header}\n{body}");
continue;
}
// Điều quá dài: cắt theo đoạn văn, mỗi phần vẫn mang tiêu đề
foreach (var part in SplitByParagraph(body, maxChars))
yield return new Chunk(documentName, title, $"{header}\n{part}");
}
}
private static IEnumerable<string> SplitByParagraph(string body, int maxChars)
{
var current = new System.Text.StringBuilder();
foreach (var para in body.Split("\n\n"))
{
if (current.Length + para.Length > maxChars && current.Length > 0)
{
yield return current.ToString().Trim();
current.Clear();
}
current.AppendLine(para).AppendLine();
}
if (current.Length > 0) yield return current.ToString().Trim();
}
}
Con số maxChars = 3000 chỉ là giá trị khởi đầu. Đơn vị thật nên là token (tiếng Việt tốn token hơn tiếng Anh, xem bài token là gì), và giới hạn đầu vào của model embedding bạn dùng cũng là một ràng buộc cứng cần kiểm tra trong tài liệu nhà cung cấp.
Metadata quan trọng không kém nội dung
Mỗi chunk nên đi kèm metadata lưu thành cột riêng, không chỉ nằm trong chữ:
Mã và tên văn bản, số điều, số khoản.
Ngày hiệu lực, ngày hết hiệu lực.
Phòng ban hoặc nhóm người được xem.
Phiên bản tài liệu nguồn (để biết chunk nào cần index lại khi văn bản sửa).
Metadata cho phép lọc trước khi tìm ("chỉ văn bản còn hiệu lực, chỉ tài liệu phòng tôi được xem") và trích nguồn khi trả lời. Nếu lưu trong PostgreSQL, đây chỉ là các cột bình thường cạnh cột vector, xem bài pgvector.
Chunk bao nhiêu là vừa: đo, đừng đoán
Không có kích thước chunk "chuẩn" cho mọi trường hợp. Chunk nhỏ tìm trúng hơn nhưng thiếu ngữ cảnh; chunk lớn đủ ngữ cảnh nhưng vector loãng hơn và tốn token khi đưa vào prompt. Cách chọn đúng là đo trên dữ liệu của bạn:
Chuẩn bị 30–50 câu hỏi thật, mỗi câu ghi rõ điều khoản nào chứa đáp án.
Index cùng bộ tài liệu theo 2–3 cách cắt khác nhau (ví dụ: theo độ dài cố định, theo Điều, parent-child).
Với mỗi cách, chạy tìm kiếm top 5 và đo tỷ lệ câu hỏi có chunk đúng nằm trong 5 kết quả đầu (hit rate).
Với cách tốt nhất, cho model trả lời thật và chấm xem câu trả lời có đúng không.
Bước 3 tách riêng chất lượng tìm kiếm khỏi chất lượng trả lời. Nếu chunk đúng không nằm trong top 5 thì sửa prompt cũng vô ích.
| Triệu chứng | Nguyên nhân chunking hay gặp | Cách sửa |
|---|---|---|
| Trả lời con số đúng nhưng sai nhóm, sai đối tượng | Bảng hoặc danh sách bị cắt, mất tiêu đề | Giữ trọn bảng, gắn tiêu đề vào mỗi chunk |
| "Không tìm thấy" dù tài liệu có | Chunk quá lớn, vector loãng; hoặc nội dung nằm trong ảnh, PDF scan | Cắt nhỏ hơn hoặc dùng parent-child; kiểm tra bước trích văn bản |
| Trả lời thiếu điều kiện ("được, nhưng...") | Điều kiện nằm ở khoản khác, không được đưa vào | Parent-child, đưa cả Điều vào prompt |
| Trả lời theo quy định cũ | Không có metadata hiệu lực, chunk cũ không bị xóa | Lưu ngày hiệu lực, index lại khi văn bản đổi |
Lỗi hay gặp và checklist
Lỗi hay gặp:
Bỏ qua bước trích văn bản. PDF chuyển sang text bị vỡ bảng, mất xuống dòng, lẫn header, footer, số trang. Rác vào thì chunk rác ra. Hãy mở và đọc thử text sau khi trích trước khi nghĩ tới chunk size.
Một kích thước cho mọi loại tài liệu. FAQ (mỗi câu hỏi một chunk), quy chế (theo Điều), biên bản họp (theo độ dài) nên cắt khác nhau.
Chunk không có tiêu đề. Đoạn "mức tối đa 1.200.000 đồng" không có dòng nào nói nó thuộc điều nào, nhóm nào.
Không lưu phiên bản nguồn. Văn bản sửa xong, không biết chunk nào cần xóa và index lại, dẫn đến chunk cũ và mới cùng tồn tại.
Chọn chunk size theo bài trên mạng. Con số tốt cho tài liệu tiếng Anh dạng blog chưa chắc tốt cho quy chế tiếng Việt có bảng.
Checklist:
Đã đọc thử văn bản sau khi trích từ PDF, Word?
Có tận dụng cấu trúc sẵn (heading, Điều, Khoản, câu hỏi FAQ)?
Mỗi chunk có mang tiêu đề hoặc đường dẫn của nó?
Bảng và danh sách không bị cắt giữa chừng?
Có metadata để lọc (hiệu lực, quyền xem) và trích nguồn?
Đã đo hit rate trên bộ câu hỏi thật với ít nhất hai cách cắt?
Kết luận
Chunking quyết định model được đọc gì. Cắt sai thì đoạn đúng không được tìm thấy, hoặc được tìm thấy nhưng thiếu ngữ cảnh để trả lời đúng. Với tài liệu doanh nghiệp tiếng Việt, cách hiệu quả thường là cắt theo cấu trúc (Điều, Khoản), gắn tiêu đề vào từng chunk, giữ trọn bảng, lưu metadata, và đo hit rate trên câu hỏi thật thay vì chọn chunk size theo cảm giác.
Bước tiếp theo: lấy một văn bản quy chế thật, cắt theo hai cách (độ dài cố định và theo Điều), rồi tự kiểm tra với 10 câu hỏi. Bài kế tiếp trong series nói về nơi lưu các chunk này: vector database, và vì sao pgvector trên PostgreSQL thường là đủ.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng
RAG trả lời sai hiếm khi do model kém. Bài chỉ ra 5 chỗ hỏng thường gặp từ dữ liệu, chunking, tìm kiếm đến prompt, kèm cách khoanh vùng lỗi bằng log.
Đọc thêm
Reranking trong RAG: bước bị bỏ qua nhiều nhất
Reranking chấm lại vài chục đoạn tìm được để chọn ra vài đoạn thật sự trả lời câu hỏi. Bài giải thích cơ chế, cách gắn vào pipeline C# và lỗi hay gặp.
Đọc thêm
Hybrid search trong RAG: kết hợp keyword và vector
Vector search giỏi hiểu nghĩa nhưng hay trượt mã đơn hàng, số hiệu văn bản. Hybrid search kết hợp keyword và vector bằng RRF, có ví dụ SQL PostgreSQL và C#.
Đọc thêm
pgvector: vì sao PostgreSQL thường đủ làm vector DB
pgvector biến PostgreSQL thành vector database cho RAG. Hướng dẫn SQL, C#, so sánh với vector DB chuyên dụng và khi nào pgvector không đủ.
Đọc thêm
RAG là gì? Khi nào cần và khi nào không cần
RAG là cách đưa đúng đoạn tài liệu vào prompt để model trả lời theo dữ liệu thật. Bài này giải thích pipeline và khi nào bạn không cần RAG.
Đọc thêm
Quản lý prompt như code: versioning, review và test
Prompt là logic nghiệp vụ, sửa một câu có thể đổi hành vi cả hệ thống. Bài hướng dẫn quản lý prompt như code: lưu trong repo, versioning, review, test và rollback.
Đọc thêm
Chain-of-thought: cho model suy nghĩ trước khi trả lời
Chain-of-thought là cho model viết các bước suy luận trước khi chốt đáp án. Bài giải thích vì sao nó hiệu quả, khi nào nên dùng và cách dùng trong production.
Đọc thêm
Vì sao nhồi nhiều context lại làm model kém đi
Context window lớn không có nghĩa là nhồi càng nhiều càng tốt. Bài giải thích vì sao model trả lời kém đi khi context dài và cách chọn lọc context đúng.
Đọc thêm
Few-shot prompting: cho LLM ví dụ thay vì giải thích dài dòng
Few-shot prompting là đưa vài ví dụ đầu vào và đầu ra mẫu để LLM bắt chước. Bài chỉ cách chọn ví dụ, lỗi hay gặp và few-shot động bằng C#.
Đọc thêm
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm