RAG là gì? Khi nào cần và khi nào không cần
Một công ty có bộ quy chế nội bộ vài chục file PDF: nghỉ phép, công tác phí, mua sắm, bảo mật thông tin. Nhân viên mới hỏi chatbot: "Đi công tác Đà Nẵng thì được thanh toán tiền khách sạn tối đa bao nhiêu?". Model trả lời rất trôi chảy, và hoàn toàn sai, vì nó chưa từng đọc quy chế của công ty bạn. Nó chỉ trả lời theo kiểu "công ty nào cũng thế".
Đó là chỗ RAG (Retrieval-Augmented Generation) xuất hiện. Bài này giải thích RAG là gì, chạy thế nào qua một ví dụ cụ thể, và quan trọng không kém: khi nào bạn không cần RAG. Phần sau hay bị bỏ qua, và nhiều dự án đã dựng cả hệ thống vector database để làm việc mà một câu SELECT làm xong.
RAG là gì: cho model "mở tài liệu" trước khi trả lời
Ý tưởng rất đơn giản. Thay vì bắt model nhớ mọi thứ, bạn tìm đoạn tài liệu liên quan trước, rồi dán nó vào prompt cùng câu hỏi. Model đọc đoạn đó và trả lời dựa trên nó. Giống thi mở sách: không cần thuộc lòng, cần biết mở đúng trang.
| Tiêu chí | Không có RAG | Có RAG |
|---|---|---|
| Prompt gửi model | "Công tác phí khách sạn tối đa bao nhiêu?" | "Dựa vào đoạn sau của quy chế, trả lời câu hỏi. Đoạn trích: [điều khoản công tác phí]. Câu hỏi: ..." |
| Model dựa vào | Kiến thức chung lúc huấn luyện | Đoạn quy chế thật của công ty |
| Kết quả thường gặp | Trả lời nghe hợp lý nhưng bịa | Trả lời đúng điều khoản, có thể kèm tên văn bản và điều khoản đã dùng |
| Khi quy chế đổi | Model không biết | Cập nhật tài liệu là xong, không cần huấn luyện lại |
Lưu ý: RAG giảm việc model bịa, không xóa được hoàn toàn. Nếu bước tìm đoạn tài liệu trả về sai chỗ, model vẫn trả lời tự tin dựa trên đoạn sai. Nói cách khác, RAG chuyển bài toán "model có biết không" thành bài toán "hệ thống tìm có đúng không", và bài toán thứ hai thì dev backend kiểm soát được.
Pipeline RAG: ba bước index, retrieve, generate
Một hệ thống RAG cơ bản gồm ba bước:

| Bước | Làm gì | Chạy khi nào |
|---|---|---|
| 1. Index | Cắt tài liệu thành các đoạn nhỏ (chunk), biến mỗi đoạn thành vector (embedding), lưu vào kho tìm kiếm | Một lần, và mỗi khi tài liệu thay đổi |
| 2. Retrieve | Biến câu hỏi thành vector, tìm vài đoạn gần nghĩa nhất | Mỗi câu hỏi |
| 3. Generate | Ghép các đoạn tìm được vào prompt, gửi model để viết câu trả lời | Mỗi câu hỏi |
Đi qua ví dụ công tác phí
Index. File "Quy chế công tác phí 2026" được cắt theo từng điều. Điều 7 nói về tiền thuê phòng nghỉ: mức tối đa theo từng nhóm địa bàn, nhóm nào gồm những thành phố nào. Đoạn này được lưu kèm metadata: tên văn bản, số điều, ngày hiệu lực, phòng ban được xem. Cách cắt tài liệu quyết định rất nhiều tới chất lượng, chủ đề này có bài riêng về chunking.
Retrieve. Câu hỏi "Đi công tác Đà Nẵng thì được thanh toán tiền khách sạn tối đa bao nhiêu?" được biến thành vector, hệ thống tìm 4 đoạn gần nhất. Điều 7 đứng đầu, kèm theo Điều 9 (thanh toán vé máy bay) và hai đoạn về thủ tục quyết toán. Nơi lưu vector có thể chính là PostgreSQL bạn đang có, xem bài pgvector.
Generate. Bốn đoạn được ghép vào prompt cùng câu hỏi. Model đọc Điều 7, thấy Đà Nẵng thuộc nhóm địa bàn nào, trả lời mức tối đa và ghi "Theo Điều 7, Quy chế công tác phí 2026".
Bước 3 là bước dễ nhất, chỉ là ghép chuỗi. Ví dụ bằng C# (retriever và llm là các lớp bọc do bạn tự định nghĩa, tên mang tính minh họa):
public async Task<string> AnswerAsync(string question, UserContext user)
{
var chunks = await retriever.SearchAsync(question, top: 4,
departmentId: user.DepartmentId, effectiveAt: DateOnly.FromDateTime(DateTime.Today));
if (chunks.Count == 0)
return "Không tìm thấy trong quy chế. Bạn liên hệ phòng hành chính giúp mình nhé.";
var context = string.Join("\n\n", chunks.Select(c =>
$"[{c.DocumentName}, {c.Section}]\n{c.Text}"));
var prompt = $"""
Trả lời câu hỏi chỉ dựa vào tài liệu bên dưới.
Nếu tài liệu không có thông tin, hãy nói "Không tìm thấy trong quy chế".
Ghi rõ tên văn bản và điều khoản đã dùng.
TÀI LIỆU:
{context}
CÂU HỎI: {question}
""";
return await llm.CompleteAsync(prompt);
}
Ba chi tiết nhỏ nhưng đáng giá trong đoạn code:
Lọc theo phòng ban và ngày hiệu lực ngay lúc tìm. Không để model tự phân biệt bản cũ, bản mới hay tài liệu người hỏi không được xem.
Không tìm thấy thì trả lời luôn, không gọi model. Vừa tiết kiệm, vừa tránh model lấp chỗ trống bằng kiến thức chung.
Câu "nếu tài liệu không có thông tin thì nói không tìm thấy". Không có nó, model sẽ cố trả lời, tức là quay lại đúng vấn đề ban đầu.
Ba bước nghe đơn giản, nhưng chất lượng phụ thuộc vào chi tiết: cắt tài liệu thế nào, tìm bằng vector hay kết hợp từ khóa (hybrid search), có xếp hạng lại kết quả hay không. Đó là nội dung của các bài tiếp theo trong phần RAG.
Khi nào bạn KHÔNG cần RAG
Đây là phần tiết kiệm thời gian nhất. RAG thêm một lớp hạ tầng (kho vector, pipeline cập nhật, đánh giá chất lượng tìm kiếm), nên chỉ đáng làm khi các cách đơn giản hơn không đủ.
Tài liệu nhỏ, nhét vừa context
Nếu toàn bộ quy chế chỉ là vài trang, bạn có thể dán thẳng vào prompt mỗi lần hỏi. Không cần chunk, không cần vector. Chi phí token cao hơn một chút mỗi lượt, nhưng bù lại bạn bỏ được cả một hệ thống để vận hành. Muốn biết "nhỏ" là bao nhiêu, hãy đếm token tài liệu của bạn và so với context window của model đang dùng. Đừng đoán. Prompt caching cũng giúp giảm chi phí khi phần tài liệu lặp lại giữa các lượt.
Chỉ cần nhớ: nhét vừa không có nghĩa là model dùng tốt. Khi tài liệu dài tới mức chiếm phần lớn context, chất lượng có thể giảm, lý do nằm ở bài vì sao nhồi nhiều context lại làm model kém đi.
Dữ liệu có cấu trúc: hãy truy vấn SQL
"Tháng này có bao nhiêu hồ sơ quá hạn?" hay "Liệt kê đơn hàng của khách A trong quý trước" là câu hỏi về dữ liệu trong bảng. Đừng đưa các bảng đó qua embedding để tìm "gần nghĩa". Hãy để model gọi một tool chạy câu SQL có kiểm soát (xem bài về function calling), vì kết quả cần chính xác tuyệt đối, không phải "gần giống". Embedding rất giỏi tìm "đoạn nói về chuyện tương tự", và rất tệ khi đếm, cộng hay lọc theo ngày.
Bạn cần kỹ năng, không cần kiến thức
Muốn model viết email theo giọng của công ty, trả JSON đúng định dạng, hay phân loại ticket theo 5 nhóm? Đó là vấn đề về cách ra lệnh (prompt, few-shot, structured output) và có khi là fine-tuning, không phải RAG. RAG đưa thêm kiến thức vào prompt, nó không dạy model làm việc theo cách khác.
| Tình huống | Cách đơn giản nhất đủ dùng |
|---|---|
| Vài trang quy chế, ít thay đổi | Dán thẳng vào prompt |
| Hỏi số liệu trong database | Tool chạy SQL |
| Muốn đổi giọng văn hoặc định dạng đầu ra | Prompt tốt, ví dụ mẫu, structured output |
| Hàng trăm tài liệu, thay đổi thường xuyên, người dùng hỏi tự do | RAG |
| Vừa hỏi tài liệu vừa hỏi số liệu | RAG cho tài liệu, tool SQL cho số liệu, model chọn công cụ |
Khi nào RAG đáng làm
Quay lại công ty có bộ quy chế. Nếu đó là vài chục file, mỗi quý lại sửa vài điều khoản, và nhân viên hỏi đủ kiểu câu từ "nghỉ phép năm" đến "mua laptop phải qua mấy cấp duyệt", thì tài liệu không nhét vừa context, hoặc nhét vừa nhưng tốn và làm model phân tâm. Lúc này RAG hợp lý, vì:
Tổng tài liệu lớn hơn nhiều so với một lần gọi model.
Mỗi câu hỏi chỉ cần một hai đoạn trong số đó.
Tài liệu đổi thường xuyên và bạn không muốn huấn luyện lại model mỗi lần đổi.
Bạn cần trích nguồn để người dùng kiểm chứng ("theo Điều X của quy chế Y").
Tài liệu có phân quyền: người này được xem, người kia không, và việc lọc phải xảy ra trước khi model đọc.
Một shop online cũng là ví dụ tốt: hàng trăm trang hướng dẫn sử dụng sản phẩm, chính sách bảo hành theo từng hãng, FAQ vận chuyển. Khách hỏi "nồi chiên mã X bị báo lỗi E3 thì làm sao" chỉ cần đúng một đoạn trong sách hướng dẫn của mã X.
Lỗi hay gặp khi làm RAG lần đầu
Chỉ đo cảm tính. Hỏi thử 5 câu thấy ổn là đưa lên production. Hãy gom vài chục câu hỏi thật mà nhân viên hay hỏi, ghi sẵn điều khoản đúng cho từng câu, rồi chạy lại mỗi khi sửa pipeline.
Không lưu metadata. Chunk chỉ có nội dung, không có tên văn bản, ngày hiệu lực, quyền xem. Lúc cần lọc hay trích nguồn thì không còn gì để dùng.
Quên cập nhật index. Quy chế đã sửa, index vẫn là bản cũ. Pipeline index phải chạy khi tài liệu thay đổi, không phải "khi nào nhớ".
Đổ lỗi cho model. Phần lớn câu trả lời sai đến từ bước retrieve (tìm sai đoạn hoặc đoạn bị cắt dở), không phải bước generate. Khi debug, hãy xem 4 đoạn đã tìm được trước khi sửa prompt.
Dùng RAG cho câu hỏi số liệu. "Tổng doanh thu tháng 10" không nên đi qua vector search.
Checklist trước khi bắt đầu một dự án RAG:
Đã thử dán thẳng tài liệu vào prompt và thấy không đủ (vì kích thước, chi phí hoặc chất lượng)?
Câu hỏi của người dùng chủ yếu về tài liệu tự do, không phải số liệu trong bảng?
Có danh sách 20–50 câu hỏi thật kèm đáp án đúng để đo?
Tài liệu có metadata (tên, điều khoản, ngày hiệu lực, quyền xem) hoặc có cách bổ sung?
Có quy trình cập nhật index khi tài liệu thay đổi?
Kết luận
RAG là cách đưa đúng đoạn tài liệu vào prompt để model trả lời dựa trên dữ liệu thật của bạn, qua ba bước index, retrieve, generate. Nhưng trước khi dựng cả pipeline, hãy hỏi ba câu: tài liệu có nhét vừa context không, dữ liệu có nằm trong bảng SQL không, và vấn đề là thiếu kiến thức hay thiếu kỹ năng. Nếu cả ba câu đều dẫn tới "cần RAG" thì bạn đã chọn đúng công cụ, và việc tiếp theo là làm tốt bước retrieve.
Bước tiếp theo: chọn một bộ tài liệu thật của công ty bạn và viết ra 20 câu hỏi người dùng hay hỏi. Bài kế tiếp trong series nói về bước đầu tiên và dễ sai nhất của pipeline: chunking, cắt tài liệu sai thì kết quả hỏng.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
5 lý do RAG trả lời sai và cách tìm đúng chỗ hỏng
RAG trả lời sai hiếm khi do model kém. Bài chỉ ra 5 chỗ hỏng thường gặp từ dữ liệu, chunking, tìm kiếm đến prompt, kèm cách khoanh vùng lỗi bằng log.
Đọc thêm
Reranking trong RAG: bước bị bỏ qua nhiều nhất
Reranking chấm lại vài chục đoạn tìm được để chọn ra vài đoạn thật sự trả lời câu hỏi. Bài giải thích cơ chế, cách gắn vào pipeline C# và lỗi hay gặp.
Đọc thêm
Hybrid search trong RAG: kết hợp keyword và vector
Vector search giỏi hiểu nghĩa nhưng hay trượt mã đơn hàng, số hiệu văn bản. Hybrid search kết hợp keyword và vector bằng RRF, có ví dụ SQL PostgreSQL và C#.
Đọc thêm
pgvector: vì sao PostgreSQL thường đủ làm vector DB
pgvector biến PostgreSQL thành vector database cho RAG. Hướng dẫn SQL, C#, so sánh với vector DB chuyên dụng và khi nào pgvector không đủ.
Đọc thêm
Chunking trong RAG: cắt tài liệu sai thì kết quả hỏng
Chunking là bước cắt tài liệu thành đoạn nhỏ trước khi đưa vào RAG. Bài so sánh các cách chunking, ví dụ với quy chế tiếng Việt và code C# cắt theo Điều, Khoản.
Đọc thêm
Quản lý prompt như code: versioning, review và test
Prompt là logic nghiệp vụ, sửa một câu có thể đổi hành vi cả hệ thống. Bài hướng dẫn quản lý prompt như code: lưu trong repo, versioning, review, test và rollback.
Đọc thêm
Chain-of-thought: cho model suy nghĩ trước khi trả lời
Chain-of-thought là cho model viết các bước suy luận trước khi chốt đáp án. Bài giải thích vì sao nó hiệu quả, khi nào nên dùng và cách dùng trong production.
Đọc thêm
Vì sao nhồi nhiều context lại làm model kém đi
Context window lớn không có nghĩa là nhồi càng nhiều càng tốt. Bài giải thích vì sao model trả lời kém đi khi context dài và cách chọn lọc context đúng.
Đọc thêm
Few-shot prompting: cho LLM ví dụ thay vì giải thích dài dòng
Few-shot prompting là đưa vài ví dụ đầu vào và đầu ra mẫu để LLM bắt chước. Bài chỉ cách chọn ví dụ, lỗi hay gặp và few-shot động bằng C#.
Đọc thêm
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm