5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng
Phòng nhân sự của một công ty phần mềm khoảng 300 người vừa có chatbot hỏi đáp quy chế, dựng bằng RAG. Tuần đầu, mọi người khen. Tuần thứ hai, một bạn hỏi: "Em vào công ty được 4 năm thì được bao nhiêu ngày phép?". Bot trả lời "12 ngày". Quy chế mới ghi rõ cứ đủ 5 năm được cộng thêm 1 ngày, nên 12 là đúng. Bạn khác hỏi câu y hệt nhưng ghi "6 năm", bot vẫn trả lời "12 ngày". Sai.
Phản xạ đầu tiên của đội dev là "đổi model xịn hơn". Đổi xong vẫn sai. Lý do: model chưa bao giờ nhìn thấy câu "cứ đủ 5 năm được cộng thêm 1 ngày", vì câu đó nằm ở cuối trang, bị cắt sang một chunk khác, và chunk đó không được tìm thấy.
Bài này đi qua 5 lý do phổ biến khiến RAG trả lời sai, theo đúng thứ tự dữ liệu chảy qua pipeline, và một cách đơn giản để biết lỗi nằm ở đâu trước khi sửa.
Trước khi sửa: tách lỗi tìm kiếm khỏi lỗi trả lời
Một hệ thống RAG có hai nửa: nửa tìm (ingestion, chunking, retrieval, reranking) và nửa viết (prompt và model). Câu trả lời sai có thể đến từ bất kỳ nửa nào, và cách sửa hai nửa hoàn toàn khác nhau.
Câu hỏi khoanh vùng duy nhất bạn cần hỏi với mỗi câu trả lời sai:
Đoạn tài liệu chứa câu trả lời đúng có nằm trong context gửi cho model không?
Không có: lỗi nằm ở nửa tìm. Đổi model, sửa prompt đều vô ích.
Có: lỗi nằm ở nửa viết. Lúc này mới bàn chuyện prompt, model, cách trình bày context.
Muốn trả lời được câu đó, bạn phải log lại toàn bộ những gì pipeline đã làm cho mỗi câu hỏi. Không có log, mọi buổi debug RAG đều thành buổi đoán mò tập thể.
public sealed record RagTrace(
Guid Id,
DateTimeOffset At,
string Question,
string? RewrittenQuery, // nếu có bước viết lại câu hỏi
IReadOnlyList<RetrievedChunk> Candidates, // kết quả tìm rộng, kèm điểm
IReadOnlyList<RetrievedChunk> UsedInPrompt,
string PromptVersion,
string Model,
string Answer);
public sealed record RetrievedChunk(string ChunkId, string Document, string Section, double Score);
Lưu bản ghi này vào một bảng (PostgreSQL là đủ), kèm nút "câu trả lời sai" trên giao diện chat. Mỗi lần người dùng bấm, bạn có đủ dữ liệu để biết đoạn đúng có ở Candidates không, có lọt vào UsedInPrompt không.

Lý do 1 và 2: dữ liệu bẩn và chunking cắt sai
Lý do 1: tài liệu không có, sai, hoặc đã cũ
Nghe hiển nhiên, nhưng đây là nguyên nhân số một trong các dự án nội bộ. Các dạng hay gặp:
PDF scan không qua OCR. File nhìn trên màn hình đầy chữ, nhưng trích xuất ra là chuỗi rỗng. Chunk rỗng thì không bao giờ được tìm thấy.
Bảng bị vỡ khi trích xuất. Bảng mức công tác phí theo chức danh bị đổ thành một dòng chữ liền: "Giám đốc 1.500.000 Trưởng phòng 1.000.000 Nhân viên 700.000". Model đọc nhầm cột là chuyện bình thường.
Phiên bản cũ chưa gỡ. Quy chế 2023 và quy chế 2025 cùng nằm trong kho. Hai đoạn gần như giống nhau, khác mỗi con số.
Tài liệu chưa từng được nạp. Câu hỏi về chính sách làm việc từ xa, nhưng chính sách đó chỉ nằm trong một email thông báo, không có trong bộ PDF.
Cách kiểm: mở trực tiếp nội dung chunk trong DB và đọc, không đọc file gốc. Thứ model thấy là chunk, không phải file PDF đẹp đẽ bạn mở trên máy.
Lý do 2: chunking cắt rời ý
Đây chính là lỗi trong ví dụ ngày phép. Cắt cố định 500 token mỗi chunk thì quy tắc nằm ở chunk này, ngoại lệ nằm ở chunk kia. Câu hỏi "6 năm được bao nhiêu ngày phép" khớp với chunk có quy tắc chung (12 ngày), còn chunk có ngoại lệ thì thiếu từ "ngày phép" nên đứng thứ hạng thấp.
Các dấu hiệu chunking có vấn đề:
Chunk bắt đầu hoặc kết thúc giữa câu, giữa bảng.
Chunk không có tiêu đề điều khoản, đọc riêng không biết đang nói về gì ("Mức này được điều chỉnh theo thâm niên như sau...").
Câu trả lời đúng cần hai chunk liền nhau nhưng chỉ một chunk được tìm thấy.
Cách sửa: cắt theo cấu trúc (chương, điều, khoản) thay vì theo số token, gắn tiêu đề cha vào mỗi chunk, để chồng lấn một phần giữa các chunk. Bài chunking trong RAG đi chi tiết từng chiến lược.
Lý do 3: tìm kiếm không thấy đoạn đúng
Tài liệu sạch, chunk gọn, nhưng retrieval vẫn trượt. Nguyên nhân thường là người hỏi và người viết tài liệu dùng từ khác nhau:
| Người dùng hỏi | Tài liệu viết | Vì sao trượt |
|---|---|---|
| "nghỉ phép" | "nghỉ hằng năm" | Từ khác, vector có thể vẫn gần nhưng không chắc |
| "OT có được trả gấp mấy lần?" | "làm thêm giờ" | Viết tắt tiếng Anh, tài liệu viết tiếng Việt |
| "đơn DH1024" | mã nằm trong bảng dữ liệu, không ở văn bản | Mã chính xác, vector search kém với chuỗi mã |
| "ck lương ngày nào" | "chi trả lương vào ngày 5 hằng tháng" | Viết tắt, không dấu |
| "nghỉ thai sản và chế độ cho chồng" | hai điều khoản ở hai chương | Một câu hỏi nhiều ý |
Cách sửa theo thứ tự nên thử:
Hybrid search: kết hợp tìm theo từ khóa và theo vector, để bắt được mã, số hiệu, thuật ngữ chính xác. Xem bài hybrid search.
Từ điển đồng nghĩa nội bộ: một bảng nhỏ "OT = làm thêm giờ", "ck = chuyển khoản", dùng để mở rộng câu hỏi. Rẻ, nhanh, hiệu quả bất ngờ.
Viết lại câu hỏi bằng LLM trước khi tìm: chuyển câu hỏi đời thường thành câu đầy đủ, tách câu hỏi nhiều ý thành nhiều truy vấn.
Lấy rộng rồi rerank: đoạn đúng nằm ở vị trí 14 thì reranking kéo nó lên.
Đo bằng recall@K: trên bộ câu hỏi thật, đoạn đúng có xuất hiện trong K kết quả đầu không. Nếu recall@50 thấp thì vấn đề ở dữ liệu hoặc chunking; nếu recall@50 cao mà recall@5 thấp thì cần rerank.
Lý do 4: tìm thấy, nhưng lẫn trong nhiễu và mâu thuẫn
Đoạn đúng đã nằm trong prompt, nhưng nằm cạnh 14 đoạn khác cùng chủ đề. Model chọn nhầm đoạn. Các dạng phổ biến:
Hai phiên bản mâu thuẫn. Prompt có cả "phụ cấp ăn trưa 730.000 đồng" (quy chế 2023) và "900.000 đồng" (quy chế 2025). Model chọn một, không nói gì về cái còn lại.
Quá nhiều đoạn. Đội dev tăng từ 5 lên 20 đoạn "cho chắc", kết quả model kém đi. Hiện tượng thông tin nằm giữa context dài dễ bị bỏ qua có tên riêng: "lost in the middle". Đây cũng là lý do nhồi thêm context thường làm model kém đi chứ không tốt lên.
Đoạn không có nguồn. Context chỉ là chữ liền nhau, model không biết đoạn nào thuộc văn bản nào, hiệu lực từ ngày nào.
Cách sửa:
Gắn metadata cho mỗi chunk (tên văn bản, số hiệu, ngày hiệu lực, phạm vi áp dụng) và lọc trước theo metadata: chỉ lấy văn bản còn hiệu lực.
Trình bày context có cấu trúc, mỗi đoạn có nhãn nguồn rõ ràng.
Giảm số đoạn, tăng chất lượng bằng reranking.
So sánh context trước và sau:
TRƯỚC:
Phụ cấp ăn trưa 730.000 đồng/tháng... Phụ cấp ăn trưa 900.000 đồng/tháng...
Người lao động được nghỉ 12 ngày... Thời gian thử việc...
SAU:
[Quy chế lao động 2025 | Điều 12 | hiệu lực từ 2025-01-01]
Người lao động làm việc đủ 12 tháng được nghỉ 12 ngày...
Cứ đủ 5 năm làm việc được cộng thêm 1 ngày.
[Quy chế lao động 2025 | Điều 18 | hiệu lực từ 2025-01-01]
Phụ cấp ăn trưa 900.000 đồng/tháng.
Lý do 5: model không bám vào context
Đến đây, đoạn đúng có trong prompt, sạch sẽ, không mâu thuẫn. Model vẫn trả lời sai. Lúc này mới là lỗi của nửa viết:
Prompt không bắt bám nguồn. Model trộn kiến thức chung ("theo Bộ luật Lao động thì...") với quy chế công ty.
Không cho phép nói "không biết". Khi tài liệu không có thông tin, model vẫn cố trả lời. Đây là dạng hallucination dễ phòng nhất.
Câu hỏi cần tính toán. "6 năm thì bao nhiêu ngày" cần đọc quy tắc rồi cộng. Model nhỏ hay làm sai phép suy luận này, nhất là khi phải trả lời ngay.
Prompt tệ:
Dựa vào tài liệu sau, trả lời câu hỏi của nhân viên.
{context}
Câu hỏi: {question}
Prompt tốt hơn:
Bạn trả lời câu hỏi về quy chế nội bộ, CHỈ dựa vào các đoạn trong TÀI LIỆU.
- Không dùng kiến thức chung về luật lao động nếu tài liệu không nhắc tới.
- Nếu tài liệu không đủ thông tin, trả lời: "Quy chế hiện có chưa nêu rõ,
bạn liên hệ phòng Nhân sự." và dừng.
- Nếu cần tính toán (cộng ngày phép theo thâm niên...), viết ngắn gọn
các bước tính trước khi đưa kết quả.
- Cuối câu trả lời ghi nguồn: [tên văn bản, điều khoản].
TÀI LIỆU:
{context}
CÂU HỎI: {question}
Dòng "viết các bước tính trước khi đưa kết quả" là cách đơn giản để cho model suy nghĩ trước khi trả lời. Dòng ghi nguồn có hai tác dụng: người dùng kiểm chứng được, và bạn kiểm tra tự động được (nguồn được trích có nằm trong UsedInPrompt không).
Bảng chẩn đoán nhanh
| Triệu chứng | Nghi ngờ đầu tiên | Kiểm tra |
|---|---|---|
| Trả lời "không tìm thấy" dù tài liệu có | Lý do 1 hoặc 3 | Đọc chunk trong DB; xem đoạn đúng có trong Candidates không |
| Trả lời đúng một nửa, thiếu ngoại lệ | Lý do 2 | Xem quy tắc và ngoại lệ có cùng chunk không |
| Đúng với câu hỏi đầy đủ, sai với câu viết tắt | Lý do 3 | Thử lại câu hỏi đã viết đầy đủ |
| Trả lời theo số liệu cũ | Lý do 1 hoặc 4 | Kho còn văn bản hết hiệu lực không, có lọc metadata không |
| Đoạn đúng có trong prompt mà vẫn sai | Lý do 4 hoặc 5 | Giảm số đoạn, sửa prompt, thử model khác |
| Trả lời trơn tru nhưng không có trong tài liệu | Lý do 5 | Prompt có cho phép "không biết" không |
Checklist áp dụng
Mỗi câu trả lời đều có trace: câu hỏi, các đoạn tìm được kèm điểm, đoạn dùng trong prompt, phiên bản prompt, model.
Có nút báo sai trên giao diện và có người xem các báo sai mỗi tuần.
Có bộ 50–100 câu hỏi thật kèm đoạn đúng, chạy lại mỗi khi sửa pipeline.
Đo riêng recall của nửa tìm và độ đúng của nửa viết, không gộp thành một con số.
Kho chỉ chứa văn bản còn hiệu lực, hoặc có metadata để lọc.
Kết luận
RAG trả lời sai thường không phải do model kém. Năm chỗ hỏng hay gặp là: dữ liệu bẩn hoặc cũ, chunking cắt rời ý, tìm kiếm trượt vì khác từ ngữ, context lẫn nhiễu và mâu thuẫn, và cuối cùng mới là prompt không bắt model bám nguồn. Câu hỏi khoanh vùng "đoạn đúng có trong context không" giúp bạn sửa đúng nửa pipeline thay vì đổi model một cách cảm tính.
Bước tiếp theo: thêm trace cho từng câu trả lời, gom 20 câu trả lời sai gần nhất và phân loại theo bảng trên. Khi đã sửa xong mà vẫn phân vân có nên bỏ RAG để chuyển sang cách khác, đọc bài kế tiếp RAG, fine-tuning hay long context.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
Reranking trong RAG: bước bị bỏ qua nhiều nhất
Reranking chấm lại vài chục đoạn tìm được để chọn ra vài đoạn thật sự trả lời câu hỏi. Bài giải thích cơ chế, cách gắn vào pipeline C# và lỗi hay gặp.
Đọc thêm
Hybrid search trong RAG: kết hợp keyword và vector
Vector search giỏi hiểu nghĩa nhưng hay trượt mã đơn hàng, số hiệu văn bản. Hybrid search kết hợp keyword và vector bằng RRF, có ví dụ SQL PostgreSQL và C#.
Đọc thêm
pgvector: vì sao PostgreSQL thường đủ làm vector DB
pgvector biến PostgreSQL thành vector database cho RAG. Hướng dẫn SQL, C#, so sánh với vector DB chuyên dụng và khi nào pgvector không đủ.
Đọc thêm
Chunking trong RAG: cắt tài liệu sai thì kết quả hỏng
Chunking là bước cắt tài liệu thành đoạn nhỏ trước khi đưa vào RAG. Bài so sánh các cách chunking, ví dụ với quy chế tiếng Việt và code C# cắt theo Điều, Khoản.
Đọc thêm
RAG là gì? Khi nào cần và khi nào không cần
RAG là cách đưa đúng đoạn tài liệu vào prompt để model trả lời theo dữ liệu thật. Bài này giải thích pipeline và khi nào bạn không cần RAG.
Đọc thêm
Quản lý prompt như code: versioning, review và test
Prompt là logic nghiệp vụ, sửa một câu có thể đổi hành vi cả hệ thống. Bài hướng dẫn quản lý prompt như code: lưu trong repo, versioning, review, test và rollback.
Đọc thêm
Chain-of-thought: cho model suy nghĩ trước khi trả lời
Chain-of-thought là cho model viết các bước suy luận trước khi chốt đáp án. Bài giải thích vì sao nó hiệu quả, khi nào nên dùng và cách dùng trong production.
Đọc thêm
Vì sao nhồi nhiều context lại làm model kém đi
Context window lớn không có nghĩa là nhồi càng nhiều càng tốt. Bài giải thích vì sao model trả lời kém đi khi context dài và cách chọn lọc context đúng.
Đọc thêm
Few-shot prompting: cho LLM ví dụ thay vì giải thích dài dòng
Few-shot prompting là đưa vài ví dụ đầu vào và đầu ra mẫu để LLM bắt chước. Bài chỉ cách chọn ví dụ, lỗi hay gặp và few-shot động bằng C#.
Đọc thêm
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm