Prompt caching là gì? Cắt chi phí và độ trễ cho LLM
Bộ quy chế nội bộ của một công ty dài khoảng 40 trang, quy ra chừng 30.000 token. Đủ nhỏ để dán thẳng vào prompt mà không cần dựng RAG. Team làm thử, chatbot trả lời rất chuẩn. Rồi ai đó nhận ra: mỗi câu hỏi 20 token của nhân viên kéo theo 30.000 token quy chế, câu hỏi nào cũng vậy, người nào cũng vậy. Tính ra tiền thì gần như toàn bộ hóa đơn là để model đọc lại cùng một bộ quy chế, hàng nghìn lần mỗi ngày.
Prompt caching sinh ra cho đúng tình huống này. Nhà cung cấp lưu lại kết quả xử lý của phần đầu prompt; lần sau gửi lại đúng phần đó, họ dùng lại thay vì tính từ đầu. Bạn trả ít tiền hơn cho phần được cache, và chờ ít hơn. Nhưng cache chỉ trúng khi bạn sắp xếp prompt đúng cách, và đó là phần bài này tập trung.
Prompt caching là gì
Nhắc lại từ bài streaming LLM: trước khi sinh chữ, model phải đọc toàn bộ đầu vào (giai đoạn prefill) và tạo ra một trạng thái tính toán nội bộ cho từng token. Với 30.000 token quy chế, bước này tốn cả thời gian lẫn tài nguyên GPU.
Prompt caching lưu lại trạng thái đó. Request sau nếu bắt đầu bằng đúng chuỗi token giống hệt, nhà cung cấp lấy trạng thái đã lưu ra dùng, chỉ phải xử lý phần mới ở cuối.
| Tiêu chí | Không có cache | Cache trúng (cache hit) |
|---|---|---|
| Phần quy chế 30.000 token | Xử lý lại từ đầu, tính giá input đầy đủ | Dùng lại, tính giá cache (thường rẻ hơn đáng kể) |
| Câu hỏi 20 token | Xử lý, giá input thường | Xử lý, giá input thường |
| Time to first token | Phải chờ đọc hết 30.000 token | Ngắn hơn rõ rệt vì bỏ qua phần lớn prefill |
| Câu trả lời | Giống nhau | Giống nhau, cache không đổi nội dung trả lời |
Dòng cuối quan trọng: prompt caching không phải lưu câu trả lời. Model vẫn sinh câu trả lời mới cho mỗi câu hỏi. Cái được tái sử dụng chỉ là phần "đã đọc" của đầu vào.
Nguyên tắc cốt lõi: cache theo tiền tố
Cache chỉ dùng lại được phần đầu (tiền tố, prefix) của prompt, và chỉ khi phần đầu đó giống hệt từng token với request trước. Khác một ký tự ở vị trí nào, mọi thứ từ vị trí đó trở về sau đều phải tính lại.

Hệ quả thiết kế rất cụ thể: phần tĩnh đặt trước, phần thay đổi đặt sau. Thứ tự nên là:
Định nghĩa tool (ít khi đổi).
System prompt: vai trò, quy tắc, định dạng trả lời.
Tài liệu cố định: quy chế, bảng giá, danh mục sản phẩm.
Ví dụ few-shot (nếu có).
Lịch sử hội thoại (tăng dần, phần đầu vẫn giữ nguyên giữa các lượt).
Thông tin riêng của lượt này: tên người dùng, ngày giờ, kết quả RAG, câu hỏi.
Để ý mục 5: trong một cuộc chat, lượt sau chỉ thêm vào cuối lịch sử của lượt trước. Nên ngay cả lịch sử cũng được hưởng cache, miễn là bạn không sửa các tin nhắn cũ.
Bật prompt caching thế nào
Mỗi nhà cung cấp làm một kiểu, đây là chỗ bạn bắt buộc phải đọc tài liệu chính thức:
Tự động: một số nhà cung cấp (ví dụ OpenAI) tự cache khi prompt dài hơn một ngưỡng tối thiểu, bạn không phải đánh dấu gì, chỉ cần sắp prompt đúng thứ tự.
Đánh dấu tường minh: một số nhà cung cấp (ví dụ Anthropic với trường
cache_control) yêu cầu bạn đánh dấu điểm kết thúc của phần muốn cache.Cache dạng tài nguyên: một số nơi cho tạo cache như một đối tượng riêng có thời hạn, rồi tham chiếu tới nó trong request.
Ví dụ dạng đánh dấu tường minh, ở mức khái niệm (tên field và vị trí đặt khác nhau giữa các nhà cung cấp):
{
"system": [
{ "type": "text", "text": "Bạn là trợ lý quy chế nội bộ. Chỉ trả lời dựa trên quy chế bên dưới..." },
{ "type": "text", "text": "<toàn văn quy chế, 30.000 token>", "cache_control": { "type": "ephemeral" } }
],
"messages": [
{ "role": "user", "content": "Đi công tác Đà Nẵng được thanh toán khách sạn tối đa bao nhiêu?" }
]
}
Những điểm chung cần kiểm tra trong tài liệu của nhà cung cấp:
| Câu hỏi | Vì sao quan trọng |
|---|---|
| Độ dài tối thiểu để được cache là bao nhiêu? | Prompt ngắn hơn ngưỡng thì không cache, dù sắp xếp đúng |
| Cache sống bao lâu? | Thường chỉ vài phút kể từ lần dùng gần nhất; lưu lượng thưa thì cache hay hết hạn |
| Giá đọc cache và giá ghi cache? | Đọc thường rẻ hơn giá input; có nơi tính phí ghi cache cao hơn giá input thường |
| Response báo số token cache ở trường nào? | Để đo tỷ lệ cache hit |
Mục giá ghi cache đáng chú ý: nếu nhà cung cấp tính phí ghi cao hơn giá thường mà prompt của bạn hiếm khi được dùng lại trong thời hạn cache, bật cache có thể tốn hơn không bật. Prompt caching có lợi khi cùng một tiền tố được dùng lại nhiều lần trong khoảng thời gian ngắn.
Tính thử: chatbot quy chế có và không có cache
Giá minh họa (kiểm tra bảng giá hiện tại của nhà cung cấp): input 1 USD/1M token, đọc cache bằng 10% giá input, bỏ qua phí ghi cache để đơn giản. Một ngày 2.000 câu hỏi, mỗi câu 30.000 token quy chế và 300 token phần thay đổi.
Không cache: 2.000 × 30.300 token × 1 USD/1M ≈ 60,6 USD/ngày
Có cache: 2.000 × 30.000 token × 0,1 USD/1M ≈ 6,0 USD
+ 2.000 × 300 token × 1 USD/1M ≈ 0,6 USD
≈ 6,6 USD/ngày
Phần input giảm gần 10 lần, với điều kiện cache trúng gần như mọi lần. Thực tế tỷ lệ trúng thấp hơn: giờ nghỉ trưa cache hết hạn, request đầu mỗi đợt phải ghi cache. Đây là lý do bạn cần đo, không cần đoán (cách đo ở phần dưới).
Phần output không đổi. Prompt caching chỉ cắt input. Nếu chi phí của bạn chủ yếu nằm ở output, hãy xem lại bài chi phí LLM theo token trước.
Những lỗi làm cache trượt
Đây là các lỗi hay gặp nhất, đều do một thứ "nhỏ" thay đổi ở đầu prompt:
| Lỗi | Ví dụ | Cách sửa |
|---|---|---|
| Chèn thời gian vào đầu system prompt | "Hôm nay là 20/11/2026 14:32:05. Bạn là trợ lý..." | Đưa ngày giờ xuống cuối, và chỉ để đến ngày nếu không cần giờ |
| Chèn tên người dùng vào system prompt | "Bạn đang hỗ trợ anh Minh, phòng Kế toán..." | Đưa thông tin người dùng vào tin nhắn cuối |
| Thứ tự tool thay đổi giữa các request | Lấy danh sách tool từ Dictionary hoặc từ DB không ORDER BY | Sắp xếp tool theo tên trước khi gửi |
| Serialize JSON không ổn định | Thứ tự key, khoảng trắng khác nhau giữa các lần | Dùng cùng một cấu hình serializer, không trộn nhiều thư viện |
| Đặt kết quả RAG trước tài liệu cố định | Đoạn tìm được đổi theo từng câu hỏi, đứng ở giữa | Kết quả RAG luôn ở sau phần tĩnh |
| Sửa lại tin nhắn cũ trong lịch sử | Tóm tắt lại lịch sử mỗi lượt | Tóm tắt theo đợt (ví dụ mỗi 10 lượt), không phải mỗi lượt |
| A/B test system prompt ngẫu nhiên từng request | Hai bản prompt xen kẽ | Gán phiên bản theo người dùng hoặc theo phiên, không theo request |
Lỗi đầu tiên là phổ biến nhất. Một dòng "thời gian hiện tại" có giây ở đầu system prompt đủ làm cache không bao giờ trúng. Mọi thứ khác đúng hết cũng vô ích, giống như khóa cửa kỹ rồi để chìa dưới thảm.
Với dev .NET, có một mẹo nhỏ: dựng phần tĩnh của prompt một lần khi khởi động (hoặc khi quy chế đổi), lưu thành chuỗi cố định, và tái sử dụng. Đừng ghép lại từ nhiều nguồn mỗi request, vì chỉ cần một khoảng trắng khác là trượt.
Đo tỷ lệ cache hit
Response của các nhà cung cấp có cache thường báo số token đọc từ cache trong phần usage (tên field khác nhau). Ghi lại cùng log chi phí:
public sealed record LlmUsage(int InputTokens, int CachedInputTokens, int OutputTokens);
public void RecordCache(string feature, LlmUsage u)
{
var hitRate = u.InputTokens == 0 ? 0 : (double)u.CachedInputTokens / u.InputTokens;
logger.LogInformation("LLM {Feature} in={In} cached={Cached} hit={HitRate:P0}",
feature, u.InputTokens, u.CachedInputTokens, hitRate);
}
Lưu ý: có nhà cung cấp tính InputTokens đã bao gồm phần cache, có nơi tách riêng; đọc tài liệu để biết công thức đúng. Nếu tỷ lệ cache hit của một tính năng có prompt tĩnh dài mà vẫn thấp, gần như chắc chắn có thứ gì đó thay đổi ở đầu prompt. In hai request liên tiếp ra, so sánh bằng công cụ diff, chỗ khác nhau đầu tiên chính là thủ phạm.
Prompt caching khác gì cache câu trả lời
Dev backend nghe "cache" thường nghĩ ngay tới Redis. Đó là một kỹ thuật khác, có thể dùng cùng lúc:
| Tiêu chí | Prompt caching | Cache câu trả lời ở app |
|---|---|---|
| Ai làm | Nhà cung cấp LLM | Code của bạn (Redis, bộ nhớ) |
| Lưu gì | Trạng thái đã xử lý của phần đầu prompt | Câu trả lời hoàn chỉnh theo câu hỏi |
| Model có chạy không | Có, vẫn sinh câu trả lời mới | Không, trả kết quả đã lưu |
| Hợp với | Prompt có phần tĩnh dài, câu hỏi đa dạng | Câu hỏi lặp lại y hệt (FAQ) |
| Rủi ro | Gần như không ảnh hưởng chất lượng | Trả lời cũ khi dữ liệu đã đổi, lộ câu trả lời của người này cho người khác nếu khóa cache không gồm quyền |
Bắt đầu với prompt caching vì nó gần như không có rủi ro về chất lượng. Cache câu trả lời cần cân nhắc kỹ hơn, sẽ được nói trong bài về giảm latency.
Checklist áp dụng prompt caching
Xác định phần tĩnh của prompt: tool, system prompt, tài liệu cố định, ví dụ.
Sắp xếp: tĩnh trước, thay đổi sau; không có gì thay đổi chen vào giữa phần tĩnh.
Dựng phần tĩnh một lần, tái sử dụng chuỗi y hệt.
Sắp xếp tool ổn định, serialize JSON ổn định.
Đọc tài liệu nhà cung cấp: ngưỡng tối thiểu, thời hạn cache, giá đọc và ghi, cách bật.
Ghi log số token cache và tỷ lệ cache hit theo tính năng.
Tỷ lệ thấp thì diff hai request liên tiếp để tìm chỗ thay đổi.
Kết luận
Prompt caching là một trong số ít tối ưu vừa giảm chi phí vừa giảm độ trễ mà không đụng tới chất lượng câu trả lời. Điều kiện duy nhất là kỷ luật sắp xếp prompt: phần tĩnh đứng trước, giống hệt từng token, phần thay đổi đứng sau. Nghe đơn giản, nhưng chính dòng "thời gian hiện tại" ở đầu system prompt đã làm nhiều team trả tiền đầy đủ cho cache không bao giờ trúng.
Bước tiếp theo: in system prompt của tính năng LLM bạn đang làm, đánh dấu chỗ nào thay đổi theo request, rồi dời chúng xuống cuối. Bài kế tiếp trong series mở rộng đúng tư duy này thành một kỹ năng lớn hơn: context engineering, quyết định cái gì được vào context, cái gì phải ra, theo thứ tự nào.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm
Chi phí LLM theo token: vì sao input và output giá khác nhau
Chi phí LLM tính theo token, input và output giá khác nhau. Bài hướng dẫn tự tính chi phí một chatbot, chỉ ra các khoản ẩn và cách cắt giảm.
Đọc thêm
Function calling: model không tự chạy code
Function calling (tool calling) là model đề nghị gọi hàm bằng JSON, còn app của bạn validate, phân quyền và chạy. Ví dụ C# tra cứu hồ sơ, đơn hàng.
Đọc thêm
Streaming LLM: vì sao chữ hiện ra từng chút một
Streaming LLM gửi từng token về ngay khi model sinh ra, nên người dùng thấy chữ sau 1 giây thay vì chờ 10 giây. Cơ chế SSE và code C# đầy đủ.
Đọc thêm
Structured output: bắt LLM trả JSON đúng schema
Structured output giúp LLM trả JSON đúng schema để code đọc được ngay. Bài so sánh 3 cách, kèm ví dụ C# bóc tách đơn hàng từ tin nhắn khách.
Đọc thêm
LLM là stateless: "memory" của chatbot thật ra là gửi lại lịch sử
LLM không nhớ gì giữa các request. Chatbot "nhớ" được là vì app gửi lại lịch sử hội thoại. Bài giải thích cơ chế, chi phí token và cách lưu hội thoại đúng trong backend.
Đọc thêm
Cấu trúc request gọi LLM API: system, user, assistant gồm những gì
Một request gọi LLM API gồm model, tham số, danh sách message theo vai trò system, user, assistant và có thể có tools. Bài mổ xẻ từng phần kèm code C# gọi HTTP thô.
Đọc thêm
Pre-training, fine-tuning, RLHF: LLM được "dạy" thế nào
LLM đi qua ba giai đoạn huấn luyện: pre-training, fine-tuning theo chỉ dẫn và RLHF. Hiểu từng bước để biết khi nào cần fine-tune, khi nào chỉ cần RAG hoặc prompt.
Đọc thêm
Hallucination là gì? Vì sao model "bịa" và cách hạn chế
Hallucination là khi LLM trả lời trôi chảy nhưng sai sự thật. Bài giải thích vì sao về bản chất model luôn có thể bịa, các dạng hay gặp và cách chặn bằng thiết kế hệ thống.
Đọc thêm
Temperature và top-p là gì? Chỉnh độ sáng tạo của LLM đúng cách
Temperature và top-p quyết định model chọn token tiếp theo an toàn hay phiêu lưu. Bài giải thích cơ chế bằng số cụ thể, code C# mô phỏng và cách chọn theo từng tác vụ.
Đọc thêm