Trang chủ Bài viết AI cho Backend Developer 5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng
AI cho Backend Developer 22/11/2026 11 lượt xem

5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng

5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng

Phòng nhân sự của một công ty phần mềm khoảng 300 người vừa có chatbot hỏi đáp quy chế, dựng bằng RAG. Tuần đầu, mọi người khen. Tuần thứ hai, một bạn hỏi: "Em vào công ty được 4 năm thì được bao nhiêu ngày phép?". Bot trả lời "12 ngày". Quy chế mới ghi rõ cứ đủ 5 năm được cộng thêm 1 ngày, nên 12 là đúng. Bạn khác hỏi câu y hệt nhưng ghi "6 năm", bot vẫn trả lời "12 ngày". Sai.

Phản xạ đầu tiên của đội dev là "đổi model xịn hơn". Đổi xong vẫn sai. Lý do: model chưa bao giờ nhìn thấy câu "cứ đủ 5 năm được cộng thêm 1 ngày", vì câu đó nằm ở cuối trang, bị cắt sang một chunk khác, và chunk đó không được tìm thấy.

Bài này đi qua 5 lý do phổ biến khiến RAG trả lời sai, theo đúng thứ tự dữ liệu chảy qua pipeline, và một cách đơn giản để biết lỗi nằm ở đâu trước khi sửa.

Trước khi sửa: tách lỗi tìm kiếm khỏi lỗi trả lời

Một hệ thống RAG có hai nửa: nửa tìm (ingestion, chunking, retrieval, reranking) và nửa viết (prompt và model). Câu trả lời sai có thể đến từ bất kỳ nửa nào, và cách sửa hai nửa hoàn toàn khác nhau.

Câu hỏi khoanh vùng duy nhất bạn cần hỏi với mỗi câu trả lời sai:

Đoạn tài liệu chứa câu trả lời đúng có nằm trong context gửi cho model không?

  • Không có: lỗi nằm ở nửa tìm. Đổi model, sửa prompt đều vô ích.

  • Có: lỗi nằm ở nửa viết. Lúc này mới bàn chuyện prompt, model, cách trình bày context.

Muốn trả lời được câu đó, bạn phải log lại toàn bộ những gì pipeline đã làm cho mỗi câu hỏi. Không có log, mọi buổi debug RAG đều thành buổi đoán mò tập thể.

public sealed record RagTrace(
    Guid Id,
    DateTimeOffset At,
    string Question,
    string? RewrittenQuery,                 // nếu có bước viết lại câu hỏi
    IReadOnlyList<RetrievedChunk> Candidates, // kết quả tìm rộng, kèm điểm
    IReadOnlyList<RetrievedChunk> UsedInPrompt,
    string PromptVersion,
    string Model,
    string Answer);

public sealed record RetrievedChunk(string ChunkId, string Document, string Section, double Score);

Lưu bản ghi này vào một bảng (PostgreSQL là đủ), kèm nút "câu trả lời sai" trên giao diện chat. Mỗi lần người dùng bấm, bạn có đủ dữ liệu để biết đoạn đúng có ở Candidates không, có lọt vào UsedInPrompt không.

Năm điểm hỏng của RAG trên pipeline từ tài liệu đến câu trả lời

Lý do 1 và 2: dữ liệu bẩn và chunking cắt sai

Lý do 1: tài liệu không có, sai, hoặc đã cũ

Nghe hiển nhiên, nhưng đây là nguyên nhân số một trong các dự án nội bộ. Các dạng hay gặp:

  • PDF scan không qua OCR. File nhìn trên màn hình đầy chữ, nhưng trích xuất ra là chuỗi rỗng. Chunk rỗng thì không bao giờ được tìm thấy.

  • Bảng bị vỡ khi trích xuất. Bảng mức công tác phí theo chức danh bị đổ thành một dòng chữ liền: "Giám đốc 1.500.000 Trưởng phòng 1.000.000 Nhân viên 700.000". Model đọc nhầm cột là chuyện bình thường.

  • Phiên bản cũ chưa gỡ. Quy chế 2023 và quy chế 2025 cùng nằm trong kho. Hai đoạn gần như giống nhau, khác mỗi con số.

  • Tài liệu chưa từng được nạp. Câu hỏi về chính sách làm việc từ xa, nhưng chính sách đó chỉ nằm trong một email thông báo, không có trong bộ PDF.

Cách kiểm: mở trực tiếp nội dung chunk trong DB và đọc, không đọc file gốc. Thứ model thấy là chunk, không phải file PDF đẹp đẽ bạn mở trên máy.

Lý do 2: chunking cắt rời ý

Đây chính là lỗi trong ví dụ ngày phép. Cắt cố định 500 token mỗi chunk thì quy tắc nằm ở chunk này, ngoại lệ nằm ở chunk kia. Câu hỏi "6 năm được bao nhiêu ngày phép" khớp với chunk có quy tắc chung (12 ngày), còn chunk có ngoại lệ thì thiếu từ "ngày phép" nên đứng thứ hạng thấp.

Các dấu hiệu chunking có vấn đề:

  • Chunk bắt đầu hoặc kết thúc giữa câu, giữa bảng.

  • Chunk không có tiêu đề điều khoản, đọc riêng không biết đang nói về gì ("Mức này được điều chỉnh theo thâm niên như sau...").

  • Câu trả lời đúng cần hai chunk liền nhau nhưng chỉ một chunk được tìm thấy.

Cách sửa: cắt theo cấu trúc (chương, điều, khoản) thay vì theo số token, gắn tiêu đề cha vào mỗi chunk, để chồng lấn một phần giữa các chunk. Bài chunking trong RAG đi chi tiết từng chiến lược.

Lý do 3: tìm kiếm không thấy đoạn đúng

Tài liệu sạch, chunk gọn, nhưng retrieval vẫn trượt. Nguyên nhân thường là người hỏi và người viết tài liệu dùng từ khác nhau:

Người dùng hỏiTài liệu viếtVì sao trượt
"nghỉ phép""nghỉ hằng năm"Từ khác, vector có thể vẫn gần nhưng không chắc
"OT có được trả gấp mấy lần?""làm thêm giờ"Viết tắt tiếng Anh, tài liệu viết tiếng Việt
"đơn DH1024"mã nằm trong bảng dữ liệu, không ở văn bảnMã chính xác, vector search kém với chuỗi mã
"ck lương ngày nào""chi trả lương vào ngày 5 hằng tháng"Viết tắt, không dấu
"nghỉ thai sản và chế độ cho chồng"hai điều khoản ở hai chươngMột câu hỏi nhiều ý

Cách sửa theo thứ tự nên thử:

  1. Hybrid search: kết hợp tìm theo từ khóa và theo vector, để bắt được mã, số hiệu, thuật ngữ chính xác. Xem bài hybrid search.

  2. Từ điển đồng nghĩa nội bộ: một bảng nhỏ "OT = làm thêm giờ", "ck = chuyển khoản", dùng để mở rộng câu hỏi. Rẻ, nhanh, hiệu quả bất ngờ.

  3. Viết lại câu hỏi bằng LLM trước khi tìm: chuyển câu hỏi đời thường thành câu đầy đủ, tách câu hỏi nhiều ý thành nhiều truy vấn.

  4. Lấy rộng rồi rerank: đoạn đúng nằm ở vị trí 14 thì reranking kéo nó lên.

Đo bằng recall@K: trên bộ câu hỏi thật, đoạn đúng có xuất hiện trong K kết quả đầu không. Nếu recall@50 thấp thì vấn đề ở dữ liệu hoặc chunking; nếu recall@50 cao mà recall@5 thấp thì cần rerank.

Lý do 4: tìm thấy, nhưng lẫn trong nhiễu và mâu thuẫn

Đoạn đúng đã nằm trong prompt, nhưng nằm cạnh 14 đoạn khác cùng chủ đề. Model chọn nhầm đoạn. Các dạng phổ biến:

  • Hai phiên bản mâu thuẫn. Prompt có cả "phụ cấp ăn trưa 730.000 đồng" (quy chế 2023) và "900.000 đồng" (quy chế 2025). Model chọn một, không nói gì về cái còn lại.

  • Quá nhiều đoạn. Đội dev tăng từ 5 lên 20 đoạn "cho chắc", kết quả model kém đi. Hiện tượng thông tin nằm giữa context dài dễ bị bỏ qua có tên riêng: "lost in the middle". Đây cũng là lý do nhồi thêm context thường làm model kém đi chứ không tốt lên.

  • Đoạn không có nguồn. Context chỉ là chữ liền nhau, model không biết đoạn nào thuộc văn bản nào, hiệu lực từ ngày nào.

Cách sửa:

  • Gắn metadata cho mỗi chunk (tên văn bản, số hiệu, ngày hiệu lực, phạm vi áp dụng) và lọc trước theo metadata: chỉ lấy văn bản còn hiệu lực.

  • Trình bày context có cấu trúc, mỗi đoạn có nhãn nguồn rõ ràng.

  • Giảm số đoạn, tăng chất lượng bằng reranking.

So sánh context trước và sau:

TRƯỚC:
Phụ cấp ăn trưa 730.000 đồng/tháng... Phụ cấp ăn trưa 900.000 đồng/tháng...
Người lao động được nghỉ 12 ngày... Thời gian thử việc...

SAU:
[Quy chế lao động 2025 | Điều 12 | hiệu lực từ 2025-01-01]
Người lao động làm việc đủ 12 tháng được nghỉ 12 ngày...
Cứ đủ 5 năm làm việc được cộng thêm 1 ngày.

[Quy chế lao động 2025 | Điều 18 | hiệu lực từ 2025-01-01]
Phụ cấp ăn trưa 900.000 đồng/tháng.

Lý do 5: model không bám vào context

Đến đây, đoạn đúng có trong prompt, sạch sẽ, không mâu thuẫn. Model vẫn trả lời sai. Lúc này mới là lỗi của nửa viết:

  • Prompt không bắt bám nguồn. Model trộn kiến thức chung ("theo Bộ luật Lao động thì...") với quy chế công ty.

  • Không cho phép nói "không biết". Khi tài liệu không có thông tin, model vẫn cố trả lời. Đây là dạng hallucination dễ phòng nhất.

  • Câu hỏi cần tính toán. "6 năm thì bao nhiêu ngày" cần đọc quy tắc rồi cộng. Model nhỏ hay làm sai phép suy luận này, nhất là khi phải trả lời ngay.

Prompt tệ:

Dựa vào tài liệu sau, trả lời câu hỏi của nhân viên.
{context}
Câu hỏi: {question}

Prompt tốt hơn:

Bạn trả lời câu hỏi về quy chế nội bộ, CHỈ dựa vào các đoạn trong TÀI LIỆU.
- Không dùng kiến thức chung về luật lao động nếu tài liệu không nhắc tới.
- Nếu tài liệu không đủ thông tin, trả lời: "Quy chế hiện có chưa nêu rõ,
  bạn liên hệ phòng Nhân sự." và dừng.
- Nếu cần tính toán (cộng ngày phép theo thâm niên...), viết ngắn gọn
  các bước tính trước khi đưa kết quả.
- Cuối câu trả lời ghi nguồn: [tên văn bản, điều khoản].

TÀI LIỆU:
{context}

CÂU HỎI: {question}

Dòng "viết các bước tính trước khi đưa kết quả" là cách đơn giản để cho model suy nghĩ trước khi trả lời. Dòng ghi nguồn có hai tác dụng: người dùng kiểm chứng được, và bạn kiểm tra tự động được (nguồn được trích có nằm trong UsedInPrompt không).

Bảng chẩn đoán nhanh

Triệu chứngNghi ngờ đầu tiênKiểm tra
Trả lời "không tìm thấy" dù tài liệu cóLý do 1 hoặc 3Đọc chunk trong DB; xem đoạn đúng có trong Candidates không
Trả lời đúng một nửa, thiếu ngoại lệLý do 2Xem quy tắc và ngoại lệ có cùng chunk không
Đúng với câu hỏi đầy đủ, sai với câu viết tắtLý do 3Thử lại câu hỏi đã viết đầy đủ
Trả lời theo số liệu cũLý do 1 hoặc 4Kho còn văn bản hết hiệu lực không, có lọc metadata không
Đoạn đúng có trong prompt mà vẫn saiLý do 4 hoặc 5Giảm số đoạn, sửa prompt, thử model khác
Trả lời trơn tru nhưng không có trong tài liệuLý do 5Prompt có cho phép "không biết" không

Checklist áp dụng

  • Mỗi câu trả lời đều có trace: câu hỏi, các đoạn tìm được kèm điểm, đoạn dùng trong prompt, phiên bản prompt, model.

  • Có nút báo sai trên giao diện và có người xem các báo sai mỗi tuần.

  • Có bộ 50–100 câu hỏi thật kèm đoạn đúng, chạy lại mỗi khi sửa pipeline.

  • Đo riêng recall của nửa tìm và độ đúng của nửa viết, không gộp thành một con số.

  • Kho chỉ chứa văn bản còn hiệu lực, hoặc có metadata để lọc.

Kết luận

RAG trả lời sai thường không phải do model kém. Năm chỗ hỏng hay gặp là: dữ liệu bẩn hoặc cũ, chunking cắt rời ý, tìm kiếm trượt vì khác từ ngữ, context lẫn nhiễu và mâu thuẫn, và cuối cùng mới là prompt không bắt model bám nguồn. Câu hỏi khoanh vùng "đoạn đúng có trong context không" giúp bạn sửa đúng nửa pipeline thay vì đổi model một cách cảm tính.

Bước tiếp theo: thêm trace cho từng câu trả lời, gom 20 câu trả lời sai gần nhất và phân loại theo bảng trên. Khi đã sửa xong mà vẫn phân vân có nên bỏ RAG để chuyển sang cách khác, đọc bài kế tiếp RAG, fine-tuning hay long context.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo