Trang chủ Bài viết AI cho Backend Developer Streaming LLM: vì sao chữ hiện ra từng chút một
AI cho Backend Developer 20/11/2026 3 lượt xem

Streaming LLM: vì sao chữ hiện ra từng chút một

Streaming LLM: vì sao chữ hiện ra từng chút một

Chatbot CSKH của một shop online chạy ổn trên máy dev. Lên production, khách hỏi "đơn của em bao giờ giao", rồi nhìn biểu tượng xoay xoay suốt 9 giây. Nửa số khách tắt tab trước khi câu trả lời xuất hiện. Ai đó trong team đề xuất "đổi model nhanh hơn". Thực ra tổng thời gian không đổi nhiều. Thứ cần đổi là thời điểm chữ đầu tiên hiện ra.

Đó là việc của streaming LLM: gửi từng mẩu chữ về trình duyệt ngay khi model vừa sinh ra, thay vì chờ sinh xong cả câu trả lời. Bài này giải thích vì sao LLM có thể stream được, dữ liệu stream trông thế nào trên dây, cách làm bằng C# trong ASP.NET Core, và những chỗ streaming làm khó những phần khác của hệ thống.

Vì sao chữ hiện ra từng chút một

Chữ hiện từng chút không phải hiệu ứng gõ phím cho đẹp. Nó phản ánh đúng cách LLM làm việc: model sinh từng token một, token sau dựa trên tất cả token trước. Muốn có token thứ 300, model phải sinh xong 299 token trước đó.

Một request LLM có hai giai đoạn:

Giai đoạnViệc model làmĐặc điểm thời gian
Đọc đầu vào (prefill)Xử lý toàn bộ prompt: system prompt, lịch sử, tài liệu, câu hỏiChạy song song được, tương đối nhanh, tăng theo độ dài đầu vào
Sinh đầu ra (decode)Sinh từng token, mỗi token là một lượt tínhTuần tự, tăng gần như tuyến tính theo số token đầu ra

Không có streaming, server của nhà cung cấp gom đủ toàn bộ đầu ra rồi mới trả một response duy nhất. Có streaming, mỗi token (hoặc vài token gộp lại) được đẩy về ngay. Tổng thời gian gần như như nhau, nhưng trải nghiệm khác hẳn.

So sánh thời gian chờ khi không stream và khi stream LLM

Hai con số cần đo: TTFT và tổng thời gian

Khi làm việc với streaming, bạn sẽ gặp hai chỉ số:

  • Time to first token (TTFT): từ lúc gửi request đến lúc nhận được token đầu tiên. Đây là con số quyết định người dùng có cảm thấy "app đang trả lời" hay không.

  • Tổng thời gian: đến lúc nhận token cuối. Phụ thuộc chủ yếu vào số token đầu ra và tốc độ sinh của model.

Con số cụ thể thay đổi theo model, nhà cung cấp, giờ cao điểm, độ dài prompt. Đừng tin con số trên blog nào (kể cả bài này), hãy tự đo. Một ví dụ minh họa cho chatbot CSKH ở trên: TTFT khoảng 1 giây, câu trả lời 250 token sinh trong khoảng 8 giây. Không stream: khách nhìn màn hình trắng 9 giây. Có stream: sau 1 giây khách đã đọc được "Dạ, đơn hàng của anh...", và tốc độ chữ hiện ra nhanh hơn tốc độ khách đọc.

Hệ quả thiết kế: muốn giảm TTFT, hãy cắt đầu vào (prompt gọn, ít tài liệu thừa, prompt caching). Muốn giảm tổng thời gian, hãy cắt đầu ra (yêu cầu trả lời ngắn, giới hạn số token đầu ra).

Streaming trên dây: Server-Sent Events

Đa số nhà cung cấp LLM stream qua Server-Sent Events (SSE): một HTTP response với Content-Type: text/event-stream, giữ kết nối mở, mỗi sự kiện là một vài dòng văn bản kết thúc bằng một dòng trống. Dạng chung trông như sau (tên field và kiểu sự kiện khác nhau giữa các nhà cung cấp):

data: {"type":"delta","text":"Dạ, đơn"}

data: {"type":"delta","text":" hàng của anh"}

data: {"type":"delta","text":" đang được giao"}

data: {"type":"done","finish_reason":"stop","usage":{"input_tokens":812,"output_tokens":246}}

Ba điều đáng để ý:

  1. Mỗi sự kiện chỉ chứa phần chữ mới (delta), app phải tự ghép lại.

  2. Một mẩu delta không nhất thiết là một từ trọn vẹn. Nó có thể cắt giữa từ, thậm chí giữa một ký tự tiếng Việt có dấu nếu bạn tự xử lý ở mức byte.

  3. Thông tin số token đã dùng (usage) thường chỉ có ở sự kiện cuối. Nếu bạn ngắt stream giữa chừng hoặc không đọc sự kiện cuối, log chi phí của bạn sẽ thiếu.

Code C#: đọc stream từ nhà cung cấp và chuyển tiếp cho trình duyệt

Dưới đây là khung đọc SSE bằng HttpClient thuần, để thấy rõ cơ chế. Trong dự án thật, SDK của nhà cung cấp thường đã bọc phần này thành IAsyncEnumerable; tên kiểu và đường dẫn API ở đây mang tính minh họa:

public async IAsyncEnumerable<string> StreamAsync(
    object requestBody,
    [EnumeratorCancellation] CancellationToken ct)
{
    using var req = new HttpRequestMessage(HttpMethod.Post, "v1/chat")
    {
        Content = JsonContent.Create(requestBody)   // body có "stream": true
    };

    // Quan trọng: không chờ đọc hết body
    using var res = await http.SendAsync(req, HttpCompletionOption.ResponseHeadersRead, ct);
    res.EnsureSuccessStatusCode();

    using var reader = new StreamReader(await res.Content.ReadAsStreamAsync(ct));

    while (await reader.ReadLineAsync(ct) is { } line)
    {
        if (!line.StartsWith("data: ")) continue;

        var evt = JsonSerializer.Deserialize<StreamEvent>(line["data: ".Length..])!;
        if (evt.Type == "delta") yield return evt.Text!;
        if (evt.Type == "done") { usageLogger.Record(evt.Usage); yield break; }
    }
}

Chi tiết dễ bỏ sót là HttpCompletionOption.ResponseHeadersRead. Mặc định HttpClient đọc hết body vào bộ nhớ rồi mới trả về, tức là bạn bật streaming phía nhà cung cấp nhưng lại tự tắt nó ở phía mình.

Phía ASP.NET Core, chuyển tiếp xuống trình duyệt cũng bằng SSE:

app.MapPost("/chat", async (ChatRequest body, HttpContext ctx, LlmClient llm) =>
{
    ctx.Response.ContentType = "text/event-stream";
    ctx.Response.Headers.CacheControl = "no-cache";
    ctx.Response.Headers["X-Accel-Buffering"] = "no";   // báo nginx đừng gom

    var ct = ctx.RequestAborted;   // khách đóng tab thì dừng luôn
    await foreach (var chunk in llm.StreamAsync(BuildRequest(body), ct))
    {
        var payload = JsonSerializer.Serialize(new { text = chunk });
        await ctx.Response.WriteAsync($"data: {payload}\n\n", ct);
        await ctx.Response.Body.FlushAsync(ct);
    }
});

.NET 10 có thêm kiểu kết quả dựng sẵn cho Server-Sent Events trong Minimal API; hãy kiểm tra tài liệu ASP.NET Core bản bạn dùng nếu muốn gọn hơn cách ghi tay ở trên. Ghi tay vẫn đáng biết, vì khi có lỗi bạn hiểu chuyện gì đang xảy ra trên dây.

ctx.RequestAborted cũng đáng một dòng giải thích: khi khách đóng tab, token hủy được kích hoạt, vòng lặp dừng, kết nối tới nhà cung cấp được đóng. Việc nhà cung cấp có tính tiền phần token đã sinh sau thời điểm đó hay không tùy từng nơi, nhưng ít nhất bạn không giữ tài nguyên server cho một người đã bỏ đi.

Những chỗ streaming làm khó bạn

Streaming đẹp cho người dùng nhưng làm phức tạp nhiều thứ phía sau. Đây là những chỗ hay vấp:

Vấn đềVì saoCách xử lý
Chạy local thì stream, lên server thì chữ hiện một cụcReverse proxy (nginx), CDN hoặc middleware nén gom response lạiTắt buffering cho route stream (proxy_buffering off hoặc header X-Accel-Buffering: no), tắt nén cho text/event-stream
Tool call bị chia nhỏKhi stream, tham số JSON của tool call cũng đến từng mẩuGom đủ mẩu đến khi tool call kết thúc rồi mới parse; không parse từng mẩu
Structured output khó dùngJSON dở dang không parse đượcVới đầu ra cho code đọc, thường không cần stream; nếu cần hiển thị dần, dùng parser chịu được JSON chưa đóng
Không chặn được nội dung xấu kịp thờiChữ đã đến tay người dùng trước khi bạn kiểm tra cả câuKiểm tra theo từng đoạn câu, hoặc giữ lại một chút trước khi đẩy; nội dung rủi ro cao thì đừng stream
Thiếu log chi phíSố token chỉ có ở sự kiện cuốiLuôn xử lý sự kiện kết thúc, ghi log cả khi stream bị ngắt
Lỗi giữa chừngHeader 200 đã gửi đi, không đổi status code được nữaGửi một sự kiện lỗi riêng để frontend hiển thị "thử lại"
Lưu lịch sử chatCâu trả lời chỉ có đầy đủ khi stream xongGhép chuỗi trong lúc stream, lưu DB khi kết thúc (kể cả khi bị ngắt)

Mục cuối liên quan trực tiếp đến bài LLM là stateless: lượt hỏi tiếp theo phải gửi lại câu trả lời này trong lịch sử. Nếu bạn quên lưu bản đã ghép, lượt sau model sẽ "quên" mình vừa nói gì.

Khi nào nên stream, khi nào không

Không phải request LLM nào cũng cần stream. Quy tắc đơn giản: có người đang nhìn màn hình chờ thì stream; code chờ thì không.

Tình huốngStream?Lý do
Chatbot CSKH, trợ lý hỏi đáp quy chế nội bộCóNgười dùng đang chờ, TTFT quyết định trải nghiệm
Viết nháp email, tóm tắt tài liệu dài hiển thị cho người đọcCóĐọc được phần đầu trong khi phần sau đang sinh
Bóc tách đơn hàng thành JSON để tạo đơnKhôngCode cần JSON hoàn chỉnh, xem bài structured output
Phân loại ticket chạy nền, batch hàng nghìn bản ghiKhôngKhông ai nhìn, stream chỉ thêm phức tạp
Agent gọi nhiều tool trước khi trả lờiTùyStream câu trả lời cuối; các bước trung gian có thể hiển thị trạng thái "đang tra đơn hàng..."

Dòng cuối là mẹo trải nghiệm hay bị bỏ qua. Khi agent mất 5 giây để gọi tool tra đơn, gửi một sự kiện trạng thái ngắn ("Đang kiểm tra đơn hàng...") cho người dùng biết hệ thống không treo. Cảm giác chờ giảm đi rõ rệt, dù thời gian thật không đổi giây nào. Tâm lý học xếp hàng áp dụng cho cả chatbot.

Checklist triển khai streaming

  1. Bật stream trong request tới nhà cung cấp và đọc bằng ResponseHeadersRead (hoặc API stream của SDK).

  2. Trả text/event-stream, Cache-Control: no-cache, flush sau mỗi sự kiện.

  3. Tắt buffering ở nginx, CDN và nén response cho route stream; test trên môi trường giống production.

  4. Truyền RequestAborted xuyên suốt để dừng khi người dùng bỏ đi.

  5. Ghép toàn bộ câu trả lời để lưu lịch sử và log, kể cả khi stream bị ngắt.

  6. Đọc sự kiện cuối để ghi số token, phục vụ theo dõi chi phí.

  7. Có sự kiện lỗi riêng; frontend hiển thị được trạng thái lỗi giữa chừng.

  8. Đo TTFT và tổng thời gian ở p50 và p95, không chỉ đo trung bình.

Kết luận

Streaming không làm model nhanh hơn. Nó chỉ cho người dùng thấy kết quả ngay khi có, vì LLM vốn sinh từng token một. Với dev backend, phần khó không nằm ở việc bật cờ stream, mà ở mọi thứ xung quanh: proxy gom response, tool call bị chia mẩu, log chi phí, lưu lịch sử, và kiểm duyệt nội dung khi chữ đã ra khỏi server.

Bước tiếp theo: đo TTFT của chatbot bạn đang làm, rồi thử bật streaming sau nginx thật để xem chữ có hiện từng chút không. Bài kế tiếp trong series nói về tool calling: model không tự chạy code, app của bạn chạy.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo