Trang chủ Bài viết AI cho Backend Developer Context window là gì? Hiểu "RAM" của model để không tràn bộ nhớ
AI cho Backend Developer 20/11/2026 2 lượt xem

Context window là gì? Hiểu "RAM" của model để không tràn bộ nhớ

Context window là gì? Hiểu "RAM" của model để không tràn bộ nhớ

Một shop thời trang online gắn chatbot vào fanpage. Tuần đầu chạy ổn. Đến tuần thứ hai, vài khách "ruột" chat liên tục từ sáng đến tối để hỏi size, đổi màu, đổi địa chỉ. Đến tin nhắn thứ 80, chatbot bắt đầu trả lời kiểu lạ: quên mất mình là nhân viên của shop, xưng "tôi là một mô hình ngôn ngữ", rồi tư vấn một chính sách đổi trả mà shop chưa từng có.

Không có gì bí ẩn ở đây. Cuộc hội thoại đã vượt quá context window của model, và đoạn code nối lịch sử chat đã cắt bỏ phần đầu, trong đó có luôn system prompt. Bài này giải thích context window là gì, vì sao nên coi nó như "RAM" của model, và cách chia ngân sách token sao cho chatbot không "mất trí nhớ" giữa chừng.

Context window là gì

Context window là số token tối đa mà model xử lý được trong một request, tính cả phần bạn gửi vào (input) lẫn phần model viết ra (output). Nếu bạn chưa rõ token là gì, đọc trước bài token là gì, vì sao tiếng Việt tốn token.

Ví von dễ nhớ nhất với dev backend: context window là RAM, không phải ổ cứng.

RAM của máy chủContext window của LLM
Dung lượngCố định theo cấu hìnhCố định theo model
Chứa gìDữ liệu chương trình đang xử lýMọi thứ model đang "nhìn thấy" ở request này
Hết chỗ thì saoSwap, chậm, hoặc OOMBáo lỗi, hoặc bị cắt bớt nội dung
Sau khi xong việcĐược giải phóngBị quên sạch, request sau bắt đầu lại từ đầu
Lưu lâu dài ở đâuỔ cứng, databaseDatabase, vector store, rồi nạp lại khi cần

Dòng cuối là chỗ nhiều người hiểu sai. Model không có ổ cứng riêng cho cuộc hội thoại của bạn. Thứ gì muốn model "nhớ" thì app của bạn phải lưu ở database và gửi lại vào context ở mỗi request. Chủ đề này được nói kỹ ở bài LLM là stateless.

Trong context window có những gì

Nhiều dev nghĩ context window chỉ chứa câu hỏi của người dùng. Thực tế, câu hỏi thường là phần nhỏ nhất. Một request của chatbot chăm sóc khách hàng (CSKH) thường chứa:

  1. System prompt: vai trò, giọng văn, chính sách shop, các điều cấm.

  2. Định nghĩa tool: tên, mô tả, schema tham số của các hàm như tra đơn, tra tồn kho. Phần này cũng tính token.

  3. Dữ liệu người dùng: tên khách, hạng thành viên, đơn gần nhất.

  4. Lịch sử hội thoại: các lượt hỏi đáp trước đó.

  5. Tài liệu truy xuất (nếu dùng RAG): vài đoạn chính sách liên quan đến câu hỏi.

  6. Kết quả tool: dữ liệu trả về từ lần tra cứu trước, đôi khi rất dài.

  7. Câu hỏi hiện tại.

  8. Chỗ trống cho câu trả lời: phần output model sẽ viết ra.

Mục 8 hay bị quên. Nếu input đã chiếm gần hết cửa sổ, model chỉ còn vài chục token để trả lời, và câu trả lời bị cụt giữa chừng.

Chia ngân sách token: ví dụ chatbot shop online

Cách làm của người có kinh nghiệm là đặt ngân sách token cho từng phần, giống như chia bộ nhớ cho từng service. Dưới đây là một bảng ngân sách cho chatbot CSKH của shop thời trang. Các con số là minh họa, bạn cần đo lại với tokenizer của model mình dùng.

Thành phầnNgân sách (token)Ghi chú
System prompt1.200Cố định, ít thay đổi
Định nghĩa 6 tool1.800Cố định theo phiên bản app
Hồ sơ khách và đơn gần nhất600Lấy từ DB, chỉ các trường cần
Lịch sử hội thoại7.000Co giãn: cắt bớt khi vượt
Đoạn chính sách từ RAG3.200Tối đa 4 đoạn
Dự phòng cho câu trả lời1.000Khớp với tham số giới hạn output
Tổng14.800Thấp hơn nhiều so với giới hạn của model

Bạn sẽ thắc mắc: model cho phép hàng trăm nghìn token, sao lại tự giới hạn ở mức khoảng 15 nghìn? Vì ba lý do:

  • Tiền: bạn trả tiền cho mọi token input ở mọi request. Lịch sử 7.000 token gửi đi 30 lần một ngày cho 1.000 khách là một con số đáng ngồi tính.

  • Độ trễ: prompt dài thì thời gian chờ chữ đầu tiên dài hơn. Khách hỏi "còn size M không" mà đợi 8 giây thì đã sang shop khác.

  • Chất lượng: thông tin quan trọng dễ bị chìm giữa context dài (hiện tượng "lost in the middle"). Xem thêm bài vì sao nhồi nhiều context lại làm model kém đi.

Ngân sách token trong context window của chatbot CSKH shop online

Chuyện gì xảy ra khi tràn context window

Có ba kịch bản, và kịch bản thứ ba nguy hiểm nhất vì nó im lặng.

1. API trả lỗi. Nhiều nhà cung cấp từ chối request khi input vượt giới hạn, kèm thông báo kiểu "context length exceeded". Ít ra bạn biết ngay mà sửa.

2. Câu trả lời bị cụt. Input vừa đủ, nhưng phần còn lại không đủ cho output. Response thường kèm một trường lý do kết thúc (tên trường khác nhau giữa các nhà cung cấp, kiểu finish_reason hoặc stop_reason) với giá trị cho biết bị dừng vì hết token. Nếu code không kiểm tra trường này, bạn sẽ gửi cho khách một câu trả lời đứt ngang, hoặc tệ hơn, một chuỗi JSON thiếu dấu đóng ngoặc làm parser nổ.

3. Bị cắt âm thầm. Một số thư viện hoặc đoạn code tự viết xử lý tràn bằng cách bỏ tin nhắn cũ nhất. Nếu tin nhắn cũ nhất là system prompt, chatbot mất luôn vai trò và chính sách. Đó chính là chuyện của shop thời trang ở đầu bài.

Cắt lịch sử đúng cách bằng C#

Nguyên tắc: phần cố định luôn được giữ, chỉ phần co giãn (lịch sử chat) bị cắt, và cắt từ tin cũ nhất. Đoạn code dưới đây minh họa ý đó. ITokenCounter là interface bạn tự định nghĩa; bên trong có thể gọi tokenizer của nhà cung cấp, API đếm token nếu họ có, hoặc tạm dùng ước lượng rồi hiệu chỉnh theo trường usage trong response.

public interface ITokenCounter
{
    int Count(string text);
}

public sealed record ChatMessage(string Role, string Content);

public static class ContextBuilder
{
    // Ước lượng chi phí phụ cho mỗi message (role, dấu phân cách)
    private const int PerMessageOverhead = 4;

    public static List<ChatMessage> FitHistory(
        IReadOnlyList<ChatMessage> history, int budget, ITokenCounter counter)
    {
        var kept = new List<ChatMessage>();
        var used = 0;

        // Đi từ tin mới nhất về tin cũ nhất
        for (var i = history.Count - 1; i >= 0; i--)
        {
            var cost = counter.Count(history[i].Content) + PerMessageOverhead;
            if (used + cost > budget)
                break;

            kept.Add(history[i]);
            used += cost;
        }

        kept.Reverse();
        return kept;
    }
}

Khi ghép request, thứ tự luôn là: system prompt, dữ liệu khách, tài liệu RAG, lịch sử đã cắt, câu hỏi mới. System prompt không bao giờ nằm trong danh sách có thể bị cắt.

Một chi tiết nhỏ nhưng hay gây lỗi: nếu lịch sử có lượt gọi tool, đừng cắt ngang giữa yêu cầu gọi tool và kết quả tool. Nhiều API sẽ báo lỗi khi thấy kết quả tool mà không có yêu cầu tương ứng phía trước. Hãy coi một cặp "gọi tool + kết quả" là một khối không tách rời.

Các chiến lược khi hội thoại dài hoặc tài liệu lớn

Chiến lượcCách làmHợp vớiĐánh đổi
Cửa sổ trượtGiữ N lượt gần nhấtChat CSKH ngắnQuên thông tin khách nói từ đầu
Tóm tắt dầnGom các lượt cũ thành một đoạn tóm tắtTư vấn dài, nhiều bướcTốn thêm một lần gọi model, có thể mất chi tiết
Trích thông tin quan trọngLưu "size M, giao Quận 7" vào hồ sơ phiênThông tin cần nhớ suốt phiênPhải thiết kế schema cần lưu
RAGChỉ lấy đoạn tài liệu liên quanKho quy chế, catalog lớnThêm hạ tầng tìm kiếm
Rút gọn kết quả toolChỉ trả các trường cần thiếtTool trả bản ghi lớnPhải viết lớp map dữ liệu

Với kho tài liệu lớn như bộ quy chế nội bộ hàng trăm trang, đừng dán cả bộ vào context chỉ vì model "chứa được". Hãy dùng RAG để chọn vài đoạn liên quan. Với thông tin cần nhớ lâu hơn một phiên (khách thích giao giờ hành chính, nhân viên thuộc phòng kế toán), hãy lưu thành bộ nhớ dài hạn ở database, đó là chủ đề của bài về memory của agent.

Ví dụ trước và sau

Trước: chatbot gửi nguyên lịch sử 80 lượt (khoảng 25.000 token) ở mỗi tin nhắn mới, kèm toàn bộ 12 trang chính sách đổi trả. Request chậm, tốn tiền, và thỉnh thoảng trả lời theo đoạn chính sách cũ nằm lẫn trong lịch sử.

Sau: giữ 10 lượt gần nhất, cộng một đoạn tóm tắt 300 token ("khách hỏi áo sơ mi trắng, đã chốt size M, giao Quận 7, muốn đổi sang màu xanh"), cộng 3 đoạn chính sách liên quan nhất. Input giảm còn vài nghìn token, câu trả lời bám đúng chính sách hiện hành. (Số liệu minh họa; hãy đo trên hệ thống của bạn bằng trường usage.)

Lỗi hay gặp và checklist

Những lỗi dev hay mắc khi mới làm việc với context window:

  • Ước lượng token bằng số ký tự hoặc số từ tiếng Anh. Tiếng Việt có dấu thường tốn token hơn, nên ước lượng thiếu.

  • Quên tính định nghĩa tool và kết quả tool vào ngân sách.

  • Đặt giới hạn output quá thấp cho tác vụ cần trả JSON dài, dẫn đến JSON bị cụt.

  • Không kiểm tra lý do kết thúc trong response.

  • Nghĩ rằng context window lớn hơn thì luôn tốt hơn, và đổi model chỉ vì "cửa sổ to hơn".

  • Lưu toàn bộ lịch sử chat của mọi phiên vào context của một phiên. Vừa tốn token, vừa có rủi ro lộ dữ liệu giữa các khách.

Checklist áp dụng:

  • Lập bảng ngân sách token cho từng thành phần và ghi vào tài liệu thiết kế.

  • Tách rõ phần cố định (không bao giờ cắt) và phần co giãn (được cắt).

  • Đếm token bằng tokenizer thật hoặc hiệu chỉnh theo usage, không đoán.

  • Kiểm tra lý do kết thúc của mọi response, xử lý trường hợp bị cắt.

  • Log số token input và output theo từng request để thấy xu hướng tăng.

  • Giữ cặp gọi tool và kết quả tool luôn đi cùng nhau khi cắt lịch sử.

Tóm lại

Context window là "RAM" của model: dung lượng cố định, chứa mọi thứ model nhìn thấy trong một request, và bị xóa sạch sau mỗi lần gọi. Việc của AI Engineer không phải là chọn model có cửa sổ lớn nhất, mà là chia ngân sách token hợp lý, giữ chắc phần quan trọng, cắt đúng phần có thể cắt, và đưa thông tin lâu dài ra database.

Bước tiếp theo: lấy chatbot bạn đang làm, in ra số token của từng thành phần trong một request thật. Thường bạn sẽ bất ngờ với phần định nghĩa tool hoặc kết quả tool. Bài tiếp theo trong series: Temperature và top-p là gì, hai núm vặn quyết định model trả lời "an toàn" hay "sáng tạo".

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo