Hallucination là gì? Vì sao model "bịa" và cách hạn chế
Chatbot nhân sự của một công ty vừa chạy được hai tuần. Một bạn nhân viên hỏi: "Em sắp cưới, được nghỉ mấy ngày có lương ạ?". Chatbot trả lời ngay, giọng rất chắc: "Bạn được nghỉ 5 ngày hưởng nguyên lương theo Điều 12 quy chế công ty." Quy chế công ty ghi 3 ngày. Và quy chế chỉ có 9 điều.
Đây là hallucination: model tạo ra thông tin sai nhưng trình bày trôi chảy, tự tin như thật. Bài này không dừng ở định nghĩa. Mình sẽ giải thích vì sao về bản chất model luôn có khả năng bịa, khi nào nó bịa nhiều nhất, và quan trọng nhất với dev backend: chặn nó bằng thiết kế hệ thống thế nào, thay vì chỉ thêm câu "đừng bịa" vào prompt rồi hy vọng.
Hallucination là gì, nhìn từ cách model hoạt động
Để hiểu vì sao model bịa, quay lại điều cốt lõi: LLM chỉ làm một việc là đoán token tiếp theo có xác suất cao. Nó được huấn luyện để tạo ra văn bản nghe hợp lý, không phải văn bản đúng sự thật. Hai thứ này trùng nhau rất thường xuyên, nhưng không phải luôn luôn.
Khi nhân viên hỏi về ngày nghỉ cưới, model "thấy" một mẫu câu quen thuộc: câu hỏi về chế độ nghỉ, trả lời bằng một con số, kèm trích dẫn điều khoản. Mẫu đó có hàng nghìn lần trong dữ liệu huấn luyện. Model hoàn thành mẫu một cách hoàn hảo về hình thức. Con số và số điều thì được điền bằng thứ "có vẻ hợp lý nhất", vì model chưa bao giờ đọc quy chế của công ty bạn.
Ba đặc điểm bản chất làm chuyện này khó tránh:
Không có cơ sở dữ liệu sự thật bên trong. Kiến thức của model được nén vào hàng tỷ tham số, giống ảnh JPEG nén mạnh: nhìn tổng thể thì rõ, phóng to vào chi tiết thì nhòe. Sự kiện phổ biến được nhớ tốt, chi tiết hiếm thì mờ.
Không có tín hiệu "mình không biết" mặc định. Model luôn sinh ra token tiếp theo. Không có cơ chế tự nhiên nào bắt nó dừng lại khi thiếu thông tin.
Quá trình huấn luyện thường thưởng cho câu trả lời tự tin. Một câu trả lời đầy đủ, chắc chắn thường được đánh giá cao hơn câu "tôi không chắc". Model học được rằng đoán còn hơn thừa nhận không biết, như học sinh đi thi trắc nghiệm không bị trừ điểm khi chọn bừa.
Kết luận quan trọng: hallucination không phải bug sẽ được vá ở phiên bản sau. Model mới có thể bịa ít hơn, nhưng xác suất không bao giờ về 0. Hệ thống của bạn phải được thiết kế với giả định model có thể sai.
Các dạng hallucination hay gặp trong dự án thật
| Dạng | Ví dụ | Mức nguy hiểm |
|---|---|---|
| Bịa sự kiện, con số | Chatbot shop trả lời "đổi trả trong 30 ngày" trong khi shop chỉ cho 7 ngày | Cao: khách giữ ảnh chụp màn hình làm bằng chứng |
| Bịa nguồn trích dẫn | Trích "Điều 12 quy chế", "Thông tư số..." không tồn tại | Cao: người đọc tin vì có số hiệu |
| Bịa API, thư viện | Gợi ý gói NuGet hoặc method không tồn tại | Trung bình đến cao: có thể bị kẻ xấu đăng ký gói trùng tên |
| Không trung thành với tài liệu | Tài liệu RAG ghi "3 ngày", model vẫn trả lời "5 ngày" theo "kiến thức chung" | Cao: khó phát hiện vì hệ thống "có RAG" |
| Sai suy luận, tính toán | Cộng tổng tiền các dòng hóa đơn ra số sai | Cao với kế toán, tài chính |
| Tiền đề sai | Khách hỏi "Vì sao shop bỏ chính sách freeship?" (shop chưa từng có), model giải thích lý do | Trung bình: model chiều theo giả định của câu hỏi |
Dạng thứ tư đáng chú ý nhất với AI Engineer. Nhiều team nghĩ "đã có RAG thì hết bịa". Không phải. RAG giảm rất nhiều, nhưng model vẫn có thể bỏ qua tài liệu, trộn tài liệu với kiến thức có sẵn, hoặc suy diễn quá đà. Bài RAG là gì có giải thích phần này rõ hơn.
Khi nào model bịa nhiều nhất
Từ bản chất ở trên, bạn có thể dự đoán vùng rủi ro cao mà không cần đo:
Dữ liệu riêng của bạn: đơn hàng, quy chế, giá, tồn kho, hồ sơ nhân viên. Model chưa từng thấy, nên mọi câu trả lời không có dữ liệu thật đưa vào đều là đoán.
Chi tiết cụ thể: số, ngày, tên riêng, mã hiệu, đường dẫn. Đây là chỗ "ảnh JPEG" nhòe nhất.
Sự kiện sau thời điểm model được huấn luyện: luật mới, giá mới, phiên bản thư viện mới.
Câu hỏi hiếm: chủ đề ngách, ít xuất hiện trên internet.
Câu hỏi có tiền đề sai hoặc gây áp lực ("chắc chắn là có, bạn tìm kỹ lại đi").
Vùng rủi ro thấp: diễn đạt lại, tóm tắt văn bản đã đưa vào, phân loại theo tiêu chí rõ ràng, viết lại email cho lịch sự hơn. Đây là các tác vụ mà thông tin cần thiết nằm sẵn trong context.
Chặn hallucination bằng thiết kế hệ thống
Không có một kỹ thuật nào giải quyết hết. Cách làm hiệu quả là nhiều lớp phòng thủ, mỗi lớp chặn một phần.

Lớp 1: đừng hỏi model điều nó không thể biết
Câu "đơn hàng DH-20481 đang ở đâu?" không bao giờ nên được trả lời từ trí nhớ của model. Hãy cho model một tool tra đơn và để app của bạn gọi API thật, như trong bài function calling. Với quy chế, chính sách, dùng RAG để đưa đúng đoạn văn bản vào context.
Nguyên tắc: dữ liệu sự thật đến từ hệ thống của bạn, model chỉ lo diễn đạt.
Lớp 2: cho phép model nói "không biết"
Nếu prompt chỉ bảo "trả lời câu hỏi", model sẽ trả lời bằng mọi giá. Hãy cho nó một lối thoát rõ ràng.
Prompt tệ:
Bạn là trợ lý nhân sự. Hãy trả lời câu hỏi của nhân viên một cách đầy đủ.
Prompt tốt hơn:
Bạn là trợ lý nhân sự. Chỉ trả lời dựa trên các đoạn quy chế trong thẻ <tai_lieu>.
Nếu tài liệu không có thông tin để trả lời, đặt "found": false và không đoán.
Không tự thêm số điều khoản nếu tài liệu không ghi.
Mỗi ý trả lời phải kèm mã đoạn và câu trích nguyên văn từ tài liệu.
Prompt tốt không loại bỏ hallucination, nhưng nó tạo ra định dạng để lớp tiếp theo kiểm tra được.
Lớp 3: bắt trích nguồn và để code kiểm tra
Đây là lớp mà dev backend làm tốt hơn ai hết: không tin, hãy kiểm tra. Yêu cầu model trả về JSON có trích dẫn (xem bài structured output), rồi code xác minh từng trích dẫn có thật trong tài liệu đã đưa vào.
using System.Text.Json;
public sealed record Citation(string ChunkId, string Quote);
public sealed record GroundedAnswer(bool Found, string Answer, List<Citation> Citations);
public static class CitationChecker
{
public static bool IsGrounded(GroundedAnswer reply, IReadOnlyDictionary<string, string> chunks)
{
if (!reply.Found || reply.Citations.Count == 0)
return false;
foreach (var c in reply.Citations)
{
if (!chunks.TryGetValue(c.ChunkId, out var text))
return false; // trích một đoạn không hề được đưa vào
if (!Normalize(text).Contains(Normalize(c.Quote)))
return false; // câu trích bị "sáng tác"
}
return true;
}
private static string Normalize(string s) =>
string.Join(' ', s.Split((char[]?)null, StringSplitOptions.RemoveEmptyEntries))
.ToLowerInvariant();
}
Khi dùng:
var options = new JsonSerializerOptions(JsonSerializerDefaults.Web);
var reply = JsonSerializer.Deserialize<GroundedAnswer>(modelJson, options);
var message = reply is not null && CitationChecker.IsGrounded(reply, retrievedChunks)
? reply.Answer
: "Mình chưa tìm thấy quy định này trong quy chế. Bạn liên hệ phòng Nhân sự để được trả lời chính xác.";
Với chatbot nhân sự ở đầu bài, câu "Điều 12 quy chế" sẽ bị chặn ngay vì không có đoạn nào mang mã đó, và nhân viên nhận câu chuyển hướng thay vì một con số sai. Kiểm tra này không bắt được mọi lỗi (model có thể trích đúng câu nhưng suy luận sai từ nó), nhưng nó chặn được dạng bịa nguồn, vốn là dạng nguy hiểm nhất.
Lớp 4: validate bằng quy tắc nghiệp vụ
Nhiều lỗi có thể bắt bằng logic thông thường:
Trích xuất hóa đơn: tổng các dòng phải bằng tổng tiền trước thuế; mã số thuế phải đúng định dạng.
Tra đơn: mã đơn model nhắc tới phải tồn tại trong DB và thuộc về khách đang chat.
Gợi ý thư viện: gói được nhắc phải có trong danh sách gói đã duyệt của team.
Đừng bắt model tự cộng tiền rồi tin kết quả. Để model trích từng dòng, code của bạn cộng.
Lớp 5: đo bằng eval, không đo bằng cảm giác
Sau khi dựng các lớp trên, bạn cần biết tỷ lệ bịa thực tế là bao nhiêu. Gom 50 đến 100 câu hỏi thật (có cả câu mà tài liệu không có đáp án), chạy qua hệ thống, đánh dấu câu nào bịa. Mỗi lần đổi prompt hoặc đổi model, chạy lại. Đây là nội dung của phần Eval trong series.
Những cách "chữa" không hiệu quả
| Cách làm | Vì sao không đủ |
|---|---|
| Thêm "tuyệt đối không được bịa" vào prompt | Có giúp một chút, nhưng model không biết lúc nào nó đang bịa |
| Hạ temperature về 0 | Chỉ làm model chọn đáp án nó tự tin nhất; nếu đáp án đó sai thì sai ổn định |
| Đổi sang model lớn hơn | Thường bịa ít hơn, nhưng vẫn bịa, và tốn tiền hơn |
| Hỏi lại "bạn có chắc không?" | Model hay đổi đáp án theo hướng người hỏi muốn nghe, không phải theo hướng đúng |
| Có RAG là xong | RAG lấy sai đoạn hoặc model không bám đoạn thì vẫn sai |
Không có nghĩa các cách trên vô dụng. Chúng là lớp phụ, không thay được việc đưa dữ liệu thật vào và kiểm tra đầu ra bằng code.
Checklist áp dụng
Liệt kê mọi loại câu hỏi cần dữ liệu riêng (đơn hàng, quy chế, giá) và đảm bảo mỗi loại có tool hoặc RAG cung cấp dữ liệu.
Prompt có lối thoát rõ ràng khi thiếu thông tin, và lối thoát đó là một giá trị code kiểm tra được.
Bắt trích nguồn theo mã đoạn, code xác minh trích dẫn tồn tại.
Mọi phép tính tiền, đếm số lượng làm bằng code, không bằng model.
Hiển thị nguồn cho người dùng để họ tự đối chiếu với câu quan trọng.
Tác vụ rủi ro cao (tư vấn pháp lý, tài chính, y tế) có người duyệt trước khi gửi.
Có bộ eval với cả câu hỏi "không có đáp án" để đo tỷ lệ bịa.
Tóm lại
Model bịa vì nó được tạo ra để sinh văn bản nghe hợp lý, không phải để tra cứu sự thật. Chuyện này không biến mất ở model đời sau. Việc của AI Engineer là xây hệ thống quanh giả định đó: dữ liệu thật đến từ tool và RAG, model được phép nói không biết, trích dẫn được code kiểm tra, con số được tính bằng code, và tất cả được đo bằng eval.
Muốn hiểu vì sao model lại có xu hướng trả lời tự tin và chiều người hỏi đến vậy, đọc bài tiếp theo: Pre-training, fine-tuning và RLHF, nơi giải thích model được "dạy" thế nào.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm
Prompt caching là gì? Cắt chi phí và độ trễ cho LLM
Prompt caching cho phép nhà cung cấp LLM dùng lại phần đầu prompt đã xử lý, giảm chi phí và độ trễ. Bài giải thích cơ chế prefix và cách sắp prompt.
Đọc thêm
Chi phí LLM theo token: vì sao input và output giá khác nhau
Chi phí LLM tính theo token, input và output giá khác nhau. Bài hướng dẫn tự tính chi phí một chatbot, chỉ ra các khoản ẩn và cách cắt giảm.
Đọc thêm
Function calling: model không tự chạy code
Function calling (tool calling) là model đề nghị gọi hàm bằng JSON, còn app của bạn validate, phân quyền và chạy. Ví dụ C# tra cứu hồ sơ, đơn hàng.
Đọc thêm
Streaming LLM: vì sao chữ hiện ra từng chút một
Streaming LLM gửi từng token về ngay khi model sinh ra, nên người dùng thấy chữ sau 1 giây thay vì chờ 10 giây. Cơ chế SSE và code C# đầy đủ.
Đọc thêm
Structured output: bắt LLM trả JSON đúng schema
Structured output giúp LLM trả JSON đúng schema để code đọc được ngay. Bài so sánh 3 cách, kèm ví dụ C# bóc tách đơn hàng từ tin nhắn khách.
Đọc thêm
LLM là stateless: "memory" của chatbot thật ra là gửi lại lịch sử
LLM không nhớ gì giữa các request. Chatbot "nhớ" được là vì app gửi lại lịch sử hội thoại. Bài giải thích cơ chế, chi phí token và cách lưu hội thoại đúng trong backend.
Đọc thêm
Cấu trúc request gọi LLM API: system, user, assistant gồm những gì
Một request gọi LLM API gồm model, tham số, danh sách message theo vai trò system, user, assistant và có thể có tools. Bài mổ xẻ từng phần kèm code C# gọi HTTP thô.
Đọc thêm
Pre-training, fine-tuning, RLHF: LLM được "dạy" thế nào
LLM đi qua ba giai đoạn huấn luyện: pre-training, fine-tuning theo chỉ dẫn và RLHF. Hiểu từng bước để biết khi nào cần fine-tune, khi nào chỉ cần RAG hoặc prompt.
Đọc thêm
Temperature và top-p là gì? Chỉnh độ sáng tạo của LLM đúng cách
Temperature và top-p quyết định model chọn token tiếp theo an toàn hay phiêu lưu. Bài giải thích cơ chế bằng số cụ thể, code C# mô phỏng và cách chọn theo từng tác vụ.
Đọc thêm