Structured output: bắt LLM trả JSON đúng schema
Một shop online nhận đơn qua tin nhắn Facebook. Khách gõ: "shop ơi lấy e 2 áo thun đen size L với 1 quần jean 30, giao về 12 ngõ 45 Trần Duy Hưng, sdt 09xx, chiều nhận nha". Bạn muốn LLM đọc tin nhắn này và tạo đơn nháp trong hệ thống. Chuyện đọc hiểu thì model làm tốt. Chuyện khó là đưa kết quả vào code.
Lần đầu thử, bạn viết prompt "trả về JSON". Model trả về JSON thật, nhưng mở đầu bằng câu "Dạ đây là thông tin đơn hàng ạ:", bọc trong khối markdown, và trường số lượng lúc là 2, lúc là "hai". JsonSerializer.Deserialize nổ ngay lần chạy thứ ba. Đây là lúc bạn cần structured output: bắt model trả JSON đúng một schema định sẵn, để code đọc được mà không phải cầu may.
Structured output là gì và vì sao dev backend cần nó
LLM sinh ra chữ. Code của bạn cần dữ liệu có kiểu: int, enum, DateOnly, danh sách có cấu trúc. Structured output là cây cầu giữa hai thứ đó: bạn đưa cho model một JSON Schema, model trả về một chuỗi JSON khớp schema, app parse thành object.
Những việc dev backend hay giao cho LLM gần như đều cần kiểu kết quả này:
Bóc tách thông tin đơn hàng từ tin nhắn, email, ảnh chụp hóa đơn.
Phân loại ticket CSKH vào danh mục cố định để route cho đúng bộ phận.
Trích các trường từ hợp đồng, công văn: số văn bản, ngày ký, bên A, bên B.
Chấm điểm câu trả lời trong bộ eval, trả về điểm và lý do.
Điểm chung: đầu ra không dành cho người đọc mà dành cho code đọc. Người đọc tha thứ được một câu chào thừa. JsonSerializer thì không.
Ba mức kiểm soát: prompt, JSON mode, schema
Các nhà cung cấp LLM thường cho bạn ba mức. Tên gọi và tham số khác nhau giữa từng nhà cung cấp, nhưng ý tưởng thì giống nhau.

| Mức | Cách làm | Đảm bảo được gì | Còn rủi ro gì |
|---|---|---|---|
| 1. Chỉ dặn trong prompt | "Hãy trả về JSON theo mẫu sau..." | Không đảm bảo gì, chỉ tăng xác suất | Câu chào thừa, khối markdown, thiếu trường, sai kiểu |
| 2. JSON mode | Bật cờ yêu cầu đầu ra là JSON hợp lệ | Chuỗi trả về parse được thành JSON | Tên trường, kiểu dữ liệu, trường bắt buộc vẫn tùy model |
| 3. Structured output theo schema | Gửi kèm JSON Schema, bật chế độ tuân thủ chặt (strict) nếu có | JSON khớp schema: đủ trường bắt buộc, đúng kiểu, enum đúng giá trị | Nội dung vẫn có thể sai: đúng kiểu nhưng sai nghĩa |
Mức 3 hoạt động được vì ở chế độ chặt, nhà cung cấp giới hạn các token model được phép sinh tại mỗi bước sao cho chuỗi luôn khớp schema (kỹ thuật thường gọi là constrained decoding). Model không "cố gắng" tuân thủ nữa, nó không có lựa chọn nào khác. Đây là khác biệt lớn so với dặn dò trong prompt, giống như khác biệt giữa "nhắc nhân viên điền đủ form" và "form web có validation không cho bấm gửi khi còn trống".
Không phải model nào cũng hỗ trợ mức 3, và mỗi nhà cung cấp chỉ hỗ trợ một tập con của JSON Schema (thường giới hạn một số từ khóa như pattern, format, độ sâu lồng nhau). Kiểm tra tài liệu của nhà cung cấp bạn dùng trước khi thiết kế schema phức tạp.
Ví dụ: bóc tách đơn hàng từ tin nhắn khách
Bắt đầu từ phía C#, vì với dev .NET thì schema nên sinh ra từ kiểu dữ liệu chứ không viết tay:
public enum DeliveryWindow { Morning, Afternoon, Evening, Unspecified }
public record OrderLine(
string ProductName,
string? Size,
string? Color,
int Quantity);
public record OrderDraft(
string? CustomerName,
string? Phone,
string? Address,
List<OrderLine> Lines,
DeliveryWindow DeliveryWindow,
string? Note);
Từ .NET 9, System.Text.Json có sẵn bộ xuất JSON Schema từ một kiểu, nên bạn không phải duy trì hai nơi định nghĩa:
using System.Text.Json;
using System.Text.Json.Nodes;
using System.Text.Json.Schema;
using System.Text.Json.Serialization;
var options = new JsonSerializerOptions(JsonSerializerOptions.Web)
{
Converters = { new JsonStringEnumConverter() }
};
JsonNode schema = options.GetJsonSchemaAsNode(typeof(OrderDraft));
Request gửi model có dạng chung như dưới đây. Tên field cụ thể (response_format, json_schema, strict...) khác nhau giữa các nhà cung cấp, hãy đối chiếu tài liệu API bạn dùng:
{
"model": "<tên model>",
"messages": [
{ "role": "system", "content": "Bạn bóc tách đơn hàng từ tin nhắn khách của shop thời trang. Trường nào khách không nói thì để null, không tự đoán." },
{ "role": "user", "content": "shop ơi lấy e 2 áo thun đen size L với 1 quần jean 30, giao về 12 ngõ 45 Trần Duy Hưng, chiều nhận nha" }
],
"response_format": {
"type": "json_schema",
"json_schema": { "name": "order_draft", "strict": true, "schema": { "...": "schema sinh từ OrderDraft" } }
}
}
Kết quả mong đợi:
{
"customerName": null,
"phone": null,
"address": "12 ngõ 45 Trần Duy Hưng",
"lines": [
{ "productName": "Áo thun", "size": "L", "color": "Đen", "quantity": 2 },
{ "productName": "Quần jean", "size": "30", "color": null, "quantity": 1 }
],
"deliveryWindow": "Afternoon",
"note": null
}
Để ý phone là null. Đây là thiết kế có chủ đích: schema cho phép null và system prompt dặn "không nói thì để null". Nếu bạn khai Phone là string bắt buộc, không cho null, model buộc phải điền một chuỗi vào đó. Và nó sẽ điền: một số điện thoại trông rất thật. Schema chặt quá chỗ không nên chặt là cách nhanh nhất để ép model bịa.
Schema đúng không có nghĩa là dữ liệu đúng
Structured output đảm bảo hình dạng, không đảm bảo sự thật. JSON ở trên có thể khớp schema hoàn hảo mà vẫn ghi quantity: 1 cho áo thun. Vì vậy sau khi parse, bạn vẫn validate nghiệp vụ như với bất kỳ dữ liệu nào từ bên ngoài vào:
public async Task<OrderDraft?> ExtractAsync(string message, CancellationToken ct)
{
for (var attempt = 1; attempt <= 2; attempt++)
{
var json = await llm.CompleteJsonAsync(BuildMessages(message), schema, ct);
OrderDraft? draft;
try { draft = JsonSerializer.Deserialize<OrderDraft>(json, options); }
catch (JsonException) { continue; } // phòng model/nhà cung cấp không hỗ trợ strict
var errors = validator.Validate(draft!); // quy tắc nghiệp vụ của bạn
if (errors.Count == 0) return draft;
logger.LogWarning("Đơn nháp không hợp lệ: {Errors}", errors);
}
return null; // chuyển cho nhân viên xử lý tay
}
llm.CompleteJsonAsync là lớp bọc minh họa do bạn tự viết quanh SDK của nhà cung cấp. validator kiểm tra những thứ schema không diễn tả được:
Số lượng từ 1 đến 50, vượt thì nghi ngờ.
Sản phẩm có trong danh mục của shop không (tra DB, không tin tên model trả về).
Số điện thoại đúng định dạng nếu có.
Size hợp lệ với loại sản phẩm: áo có S/M/L/XL, quần có số.
Khi validate thất bại, đừng retry vô hạn. Thử lại tối đa một lần, sau đó đẩy cho người xử lý. Một đơn nháp được nhân viên sửa trong 10 giây vẫn tốt hơn một đơn sai được tạo tự động.
Lỗi hay gặp khi làm structured output
| Lỗi | Triệu chứng | Cách sửa |
|---|---|---|
| Trường bắt buộc mà thông tin có thể không có | Model bịa số điện thoại, địa chỉ, ngày | Cho phép null hoặc thêm giá trị như Unspecified trong enum |
| Đầu ra bị cắt giữa chừng | JSON thiếu dấu đóng, parse lỗi | Tăng giới hạn số token đầu ra; kiểm tra lý do dừng (finish/stop reason) trong response |
| Model từ chối trả lời | Response không có JSON mà có thông báo từ chối | Một số nhà cung cấp trả trường từ chối riêng; xử lý như một nhánh lỗi, không parse mù |
| Tên trường quá ngắn, khó hiểu | Model điền nhầm trường t, q, a | Dùng tên đầy đủ và thêm description cho từng trường trong schema |
| Ép model vừa suy luận vừa trả JSON gọn | Kết quả phân loại kém hơn khi trả lời tự do | Thêm trường reasoning ngắn đặt trước trường kết quả, hoặc tách thành hai bước |
| Schema quá lớn, lồng sâu | Nhà cung cấp báo lỗi schema không hỗ trợ, hoặc độ trễ tăng | Chia nhỏ tác vụ; mỗi lần gọi chỉ bóc một nhóm trường |
| Enum tiếng Việt có dấu, khoảng trắng | Khó map sang enum C# | Dùng giá trị enum dạng mã (Afternoon), hiển thị tiếng Việt ở tầng UI |
Lỗi thứ năm đáng nói thêm. Model sinh token từ trái sang phải. Nếu trường category đứng đầu, model phải chọn nhãn ngay ở token đầu tiên, trước khi "viết ra" bất kỳ lập luận nào. Đặt một trường reasoning ngắn lên trước giúp model có chỗ cân nhắc. Đổi lại bạn tốn thêm token đầu ra, mà token đầu ra thường là loại đắt nhất (xem bài tính chi phí LLM theo token).
Structured output và tool calling: hai anh em
Nếu đã đọc về function calling, bạn sẽ thấy quen: định nghĩa tool cũng là một JSON Schema cho tham số, và model trả về JSON khớp schema đó. Thực ra nhiều thư viện dùng chung một cơ chế cho cả hai.
Khác biệt nằm ở ý đồ:
| Tiêu chí | Structured output | Tool calling |
|---|---|---|
| Mục đích | Đầu ra cuối cùng có cấu trúc | Model đề nghị app chạy một hành động |
| Ai quyết định có dùng hay không | App quy định, lần nào cũng trả JSON | Model tự chọn có gọi tool hay trả lời bằng chữ |
| Ví dụ | Bóc tách đơn hàng, phân loại ticket | Tra trạng thái đơn, tạo đơn nháp trong hệ thống |
Quy tắc dễ nhớ: cần dữ liệu thì dùng structured output, cần hành động thì dùng tool calling.
Checklist áp dụng structured output
Định nghĩa kiểu C# trước, sinh schema từ kiểu, không viết tay hai nơi.
Trường nào thông tin có thể vắng thì cho phép
null; nói rõ trong system prompt "không có thì để null".Dùng enum cho các giá trị cố định, có giá trị dự phòng như
UnspecifiedhoặcOther.Thêm
descriptioncho trường dễ hiểu nhầm (đơn vị tiền, định dạng ngày).Bật chế độ schema chặt nếu model hỗ trợ; nếu không, vẫn bọc
Deserializetrong try/catch.Kiểm tra lý do dừng của response để phát hiện đầu ra bị cắt.
Validate nghiệp vụ sau khi parse; dữ liệu từ model là dữ liệu từ bên ngoài.
Giới hạn retry, có đường thoát cho người xử lý tay.
Log cả đầu vào lẫn JSON đầu ra để làm bộ eval sau này.
Kết luận
Structured output biến LLM từ một cỗ máy viết văn thành một thành phần trả dữ liệu có kiểu, thứ mà code backend làm việc được. Nhưng nó chỉ đảm bảo hình dạng. Phần đảm bảo nội dung vẫn là việc của bạn: schema cho phép null đúng chỗ, validate nghiệp vụ sau khi parse, và log để đo.
Bước tiếp theo: lấy một tác vụ bóc tách đang làm bằng regex hoặc nhập tay trong dự án của bạn, viết kiểu C# cho nó và thử với 20 mẫu thật. Bài kế tiếp trong series giải thích streaming LLM: vì sao chữ hiện ra từng chút một, và vì sao điều đó làm khó structured output.
Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.
Bài viết liên quan
Context engineering là gì, vì sao quan trọng hơn prompt
Context engineering là quyết định cái gì vào context window, cái gì phải ra, theo thứ tự nào. Câu prompt chỉ là một phần nhỏ của những gì model thấy.
Đọc thêm
Prompt caching là gì? Cắt chi phí và độ trễ cho LLM
Prompt caching cho phép nhà cung cấp LLM dùng lại phần đầu prompt đã xử lý, giảm chi phí và độ trễ. Bài giải thích cơ chế prefix và cách sắp prompt.
Đọc thêm
Chi phí LLM theo token: vì sao input và output giá khác nhau
Chi phí LLM tính theo token, input và output giá khác nhau. Bài hướng dẫn tự tính chi phí một chatbot, chỉ ra các khoản ẩn và cách cắt giảm.
Đọc thêm
Function calling: model không tự chạy code
Function calling (tool calling) là model đề nghị gọi hàm bằng JSON, còn app của bạn validate, phân quyền và chạy. Ví dụ C# tra cứu hồ sơ, đơn hàng.
Đọc thêm
Streaming LLM: vì sao chữ hiện ra từng chút một
Streaming LLM gửi từng token về ngay khi model sinh ra, nên người dùng thấy chữ sau 1 giây thay vì chờ 10 giây. Cơ chế SSE và code C# đầy đủ.
Đọc thêm
LLM là stateless: "memory" của chatbot thật ra là gửi lại lịch sử
LLM không nhớ gì giữa các request. Chatbot "nhớ" được là vì app gửi lại lịch sử hội thoại. Bài giải thích cơ chế, chi phí token và cách lưu hội thoại đúng trong backend.
Đọc thêm
Cấu trúc request gọi LLM API: system, user, assistant gồm những gì
Một request gọi LLM API gồm model, tham số, danh sách message theo vai trò system, user, assistant và có thể có tools. Bài mổ xẻ từng phần kèm code C# gọi HTTP thô.
Đọc thêm
Pre-training, fine-tuning, RLHF: LLM được "dạy" thế nào
LLM đi qua ba giai đoạn huấn luyện: pre-training, fine-tuning theo chỉ dẫn và RLHF. Hiểu từng bước để biết khi nào cần fine-tune, khi nào chỉ cần RAG hoặc prompt.
Đọc thêm
Hallucination là gì? Vì sao model "bịa" và cách hạn chế
Hallucination là khi LLM trả lời trôi chảy nhưng sai sự thật. Bài giải thích vì sao về bản chất model luôn có thể bịa, các dạng hay gặp và cách chặn bằng thiết kế hệ thống.
Đọc thêm
Temperature và top-p là gì? Chỉnh độ sáng tạo của LLM đúng cách
Temperature và top-p quyết định model chọn token tiếp theo an toàn hay phiêu lưu. Bài giải thích cơ chế bằng số cụ thể, code C# mô phỏng và cách chọn theo từng tác vụ.
Đọc thêm