Trang chủ Bài viết AI cho Backend Developer Structured output: bắt LLM trả JSON đúng schema
AI cho Backend Developer 20/11/2026 3 lượt xem

Structured output: bắt LLM trả JSON đúng schema

Structured output: bắt LLM trả JSON đúng schema

Một shop online nhận đơn qua tin nhắn Facebook. Khách gõ: "shop ơi lấy e 2 áo thun đen size L với 1 quần jean 30, giao về 12 ngõ 45 Trần Duy Hưng, sdt 09xx, chiều nhận nha". Bạn muốn LLM đọc tin nhắn này và tạo đơn nháp trong hệ thống. Chuyện đọc hiểu thì model làm tốt. Chuyện khó là đưa kết quả vào code.

Lần đầu thử, bạn viết prompt "trả về JSON". Model trả về JSON thật, nhưng mở đầu bằng câu "Dạ đây là thông tin đơn hàng ạ:", bọc trong khối markdown, và trường số lượng lúc là 2, lúc là "hai". JsonSerializer.Deserialize nổ ngay lần chạy thứ ba. Đây là lúc bạn cần structured output: bắt model trả JSON đúng một schema định sẵn, để code đọc được mà không phải cầu may.

Structured output là gì và vì sao dev backend cần nó

LLM sinh ra chữ. Code của bạn cần dữ liệu có kiểu: int, enum, DateOnly, danh sách có cấu trúc. Structured output là cây cầu giữa hai thứ đó: bạn đưa cho model một JSON Schema, model trả về một chuỗi JSON khớp schema, app parse thành object.

Những việc dev backend hay giao cho LLM gần như đều cần kiểu kết quả này:

  • Bóc tách thông tin đơn hàng từ tin nhắn, email, ảnh chụp hóa đơn.

  • Phân loại ticket CSKH vào danh mục cố định để route cho đúng bộ phận.

  • Trích các trường từ hợp đồng, công văn: số văn bản, ngày ký, bên A, bên B.

  • Chấm điểm câu trả lời trong bộ eval, trả về điểm và lý do.

Điểm chung: đầu ra không dành cho người đọc mà dành cho code đọc. Người đọc tha thứ được một câu chào thừa. JsonSerializer thì không.

Ba mức kiểm soát: prompt, JSON mode, schema

Các nhà cung cấp LLM thường cho bạn ba mức. Tên gọi và tham số khác nhau giữa từng nhà cung cấp, nhưng ý tưởng thì giống nhau.

Ba mức structured output: prompt, JSON mode và JSON schema

MứcCách làmĐảm bảo được gìCòn rủi ro gì
1. Chỉ dặn trong prompt"Hãy trả về JSON theo mẫu sau..."Không đảm bảo gì, chỉ tăng xác suấtCâu chào thừa, khối markdown, thiếu trường, sai kiểu
2. JSON modeBật cờ yêu cầu đầu ra là JSON hợp lệChuỗi trả về parse được thành JSONTên trường, kiểu dữ liệu, trường bắt buộc vẫn tùy model
3. Structured output theo schemaGửi kèm JSON Schema, bật chế độ tuân thủ chặt (strict) nếu cóJSON khớp schema: đủ trường bắt buộc, đúng kiểu, enum đúng giá trịNội dung vẫn có thể sai: đúng kiểu nhưng sai nghĩa

Mức 3 hoạt động được vì ở chế độ chặt, nhà cung cấp giới hạn các token model được phép sinh tại mỗi bước sao cho chuỗi luôn khớp schema (kỹ thuật thường gọi là constrained decoding). Model không "cố gắng" tuân thủ nữa, nó không có lựa chọn nào khác. Đây là khác biệt lớn so với dặn dò trong prompt, giống như khác biệt giữa "nhắc nhân viên điền đủ form" và "form web có validation không cho bấm gửi khi còn trống".

Không phải model nào cũng hỗ trợ mức 3, và mỗi nhà cung cấp chỉ hỗ trợ một tập con của JSON Schema (thường giới hạn một số từ khóa như pattern, format, độ sâu lồng nhau). Kiểm tra tài liệu của nhà cung cấp bạn dùng trước khi thiết kế schema phức tạp.

Ví dụ: bóc tách đơn hàng từ tin nhắn khách

Bắt đầu từ phía C#, vì với dev .NET thì schema nên sinh ra từ kiểu dữ liệu chứ không viết tay:

public enum DeliveryWindow { Morning, Afternoon, Evening, Unspecified }

public record OrderLine(
    string ProductName,
    string? Size,
    string? Color,
    int Quantity);

public record OrderDraft(
    string? CustomerName,
    string? Phone,
    string? Address,
    List<OrderLine> Lines,
    DeliveryWindow DeliveryWindow,
    string? Note);

Từ .NET 9, System.Text.Json có sẵn bộ xuất JSON Schema từ một kiểu, nên bạn không phải duy trì hai nơi định nghĩa:

using System.Text.Json;
using System.Text.Json.Nodes;
using System.Text.Json.Schema;
using System.Text.Json.Serialization;

var options = new JsonSerializerOptions(JsonSerializerOptions.Web)
{
    Converters = { new JsonStringEnumConverter() }
};

JsonNode schema = options.GetJsonSchemaAsNode(typeof(OrderDraft));

Request gửi model có dạng chung như dưới đây. Tên field cụ thể (response_format, json_schema, strict...) khác nhau giữa các nhà cung cấp, hãy đối chiếu tài liệu API bạn dùng:

{
  "model": "<tên model>",
  "messages": [
    { "role": "system", "content": "Bạn bóc tách đơn hàng từ tin nhắn khách của shop thời trang. Trường nào khách không nói thì để null, không tự đoán." },
    { "role": "user", "content": "shop ơi lấy e 2 áo thun đen size L với 1 quần jean 30, giao về 12 ngõ 45 Trần Duy Hưng, chiều nhận nha" }
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": { "name": "order_draft", "strict": true, "schema": { "...": "schema sinh từ OrderDraft" } }
  }
}

Kết quả mong đợi:

{
  "customerName": null,
  "phone": null,
  "address": "12 ngõ 45 Trần Duy Hưng",
  "lines": [
    { "productName": "Áo thun", "size": "L", "color": "Đen", "quantity": 2 },
    { "productName": "Quần jean", "size": "30", "color": null, "quantity": 1 }
  ],
  "deliveryWindow": "Afternoon",
  "note": null
}

Để ý phone là null. Đây là thiết kế có chủ đích: schema cho phép null và system prompt dặn "không nói thì để null". Nếu bạn khai Phone là string bắt buộc, không cho null, model buộc phải điền một chuỗi vào đó. Và nó sẽ điền: một số điện thoại trông rất thật. Schema chặt quá chỗ không nên chặt là cách nhanh nhất để ép model bịa.

Schema đúng không có nghĩa là dữ liệu đúng

Structured output đảm bảo hình dạng, không đảm bảo sự thật. JSON ở trên có thể khớp schema hoàn hảo mà vẫn ghi quantity: 1 cho áo thun. Vì vậy sau khi parse, bạn vẫn validate nghiệp vụ như với bất kỳ dữ liệu nào từ bên ngoài vào:

public async Task<OrderDraft?> ExtractAsync(string message, CancellationToken ct)
{
    for (var attempt = 1; attempt <= 2; attempt++)
    {
        var json = await llm.CompleteJsonAsync(BuildMessages(message), schema, ct);

        OrderDraft? draft;
        try { draft = JsonSerializer.Deserialize<OrderDraft>(json, options); }
        catch (JsonException) { continue; }   // phòng model/nhà cung cấp không hỗ trợ strict

        var errors = validator.Validate(draft!);   // quy tắc nghiệp vụ của bạn
        if (errors.Count == 0) return draft;

        logger.LogWarning("Đơn nháp không hợp lệ: {Errors}", errors);
    }
    return null;   // chuyển cho nhân viên xử lý tay
}

llm.CompleteJsonAsync là lớp bọc minh họa do bạn tự viết quanh SDK của nhà cung cấp. validator kiểm tra những thứ schema không diễn tả được:

  • Số lượng từ 1 đến 50, vượt thì nghi ngờ.

  • Sản phẩm có trong danh mục của shop không (tra DB, không tin tên model trả về).

  • Số điện thoại đúng định dạng nếu có.

  • Size hợp lệ với loại sản phẩm: áo có S/M/L/XL, quần có số.

Khi validate thất bại, đừng retry vô hạn. Thử lại tối đa một lần, sau đó đẩy cho người xử lý. Một đơn nháp được nhân viên sửa trong 10 giây vẫn tốt hơn một đơn sai được tạo tự động.

Lỗi hay gặp khi làm structured output

LỗiTriệu chứngCách sửa
Trường bắt buộc mà thông tin có thể không cóModel bịa số điện thoại, địa chỉ, ngàyCho phép null hoặc thêm giá trị như Unspecified trong enum
Đầu ra bị cắt giữa chừngJSON thiếu dấu đóng, parse lỗiTăng giới hạn số token đầu ra; kiểm tra lý do dừng (finish/stop reason) trong response
Model từ chối trả lờiResponse không có JSON mà có thông báo từ chốiMột số nhà cung cấp trả trường từ chối riêng; xử lý như một nhánh lỗi, không parse mù
Tên trường quá ngắn, khó hiểuModel điền nhầm trường t, q, aDùng tên đầy đủ và thêm description cho từng trường trong schema
Ép model vừa suy luận vừa trả JSON gọnKết quả phân loại kém hơn khi trả lời tự doThêm trường reasoning ngắn đặt trước trường kết quả, hoặc tách thành hai bước
Schema quá lớn, lồng sâuNhà cung cấp báo lỗi schema không hỗ trợ, hoặc độ trễ tăngChia nhỏ tác vụ; mỗi lần gọi chỉ bóc một nhóm trường
Enum tiếng Việt có dấu, khoảng trắngKhó map sang enum C#Dùng giá trị enum dạng mã (Afternoon), hiển thị tiếng Việt ở tầng UI

Lỗi thứ năm đáng nói thêm. Model sinh token từ trái sang phải. Nếu trường category đứng đầu, model phải chọn nhãn ngay ở token đầu tiên, trước khi "viết ra" bất kỳ lập luận nào. Đặt một trường reasoning ngắn lên trước giúp model có chỗ cân nhắc. Đổi lại bạn tốn thêm token đầu ra, mà token đầu ra thường là loại đắt nhất (xem bài tính chi phí LLM theo token).

Structured output và tool calling: hai anh em

Nếu đã đọc về function calling, bạn sẽ thấy quen: định nghĩa tool cũng là một JSON Schema cho tham số, và model trả về JSON khớp schema đó. Thực ra nhiều thư viện dùng chung một cơ chế cho cả hai.

Khác biệt nằm ở ý đồ:

Tiêu chíStructured outputTool calling
Mục đíchĐầu ra cuối cùng có cấu trúcModel đề nghị app chạy một hành động
Ai quyết định có dùng hay khôngApp quy định, lần nào cũng trả JSONModel tự chọn có gọi tool hay trả lời bằng chữ
Ví dụBóc tách đơn hàng, phân loại ticketTra trạng thái đơn, tạo đơn nháp trong hệ thống

Quy tắc dễ nhớ: cần dữ liệu thì dùng structured output, cần hành động thì dùng tool calling.

Checklist áp dụng structured output

  1. Định nghĩa kiểu C# trước, sinh schema từ kiểu, không viết tay hai nơi.

  2. Trường nào thông tin có thể vắng thì cho phép null; nói rõ trong system prompt "không có thì để null".

  3. Dùng enum cho các giá trị cố định, có giá trị dự phòng như Unspecified hoặc Other.

  4. Thêm description cho trường dễ hiểu nhầm (đơn vị tiền, định dạng ngày).

  5. Bật chế độ schema chặt nếu model hỗ trợ; nếu không, vẫn bọc Deserialize trong try/catch.

  6. Kiểm tra lý do dừng của response để phát hiện đầu ra bị cắt.

  7. Validate nghiệp vụ sau khi parse; dữ liệu từ model là dữ liệu từ bên ngoài.

  8. Giới hạn retry, có đường thoát cho người xử lý tay.

  9. Log cả đầu vào lẫn JSON đầu ra để làm bộ eval sau này.

Kết luận

Structured output biến LLM từ một cỗ máy viết văn thành một thành phần trả dữ liệu có kiểu, thứ mà code backend làm việc được. Nhưng nó chỉ đảm bảo hình dạng. Phần đảm bảo nội dung vẫn là việc của bạn: schema cho phép null đúng chỗ, validate nghiệp vụ sau khi parse, và log để đo.

Bước tiếp theo: lấy một tác vụ bóc tách đang làm bằng regex hoặc nhập tay trong dự án của bạn, viết kiểu C# cho nó và thử với 20 mẫu thật. Bài kế tiếp trong series giải thích streaming LLM: vì sao chữ hiện ra từng chút một, và vì sao điều đó làm khó structured output.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo