Trang chủ Bài viết AI cho Backend Developer Chi phí LLM theo token: vì sao input và output giá khác nhau
AI cho Backend Developer 20/11/2026 4 lượt xem

Chi phí LLM theo token: vì sao input và output giá khác nhau

Chi phí LLM theo token: vì sao input và output giá khác nhau

Tháng đầu chạy thử, chatbot hỏi đáp quy chế nội bộ của một công ty khoảng 300 nhân viên tốn chưa tới một bữa trưa. Tháng thứ hai mở cho toàn công ty, hóa đơn tăng gấp mấy chục lần, trong khi số câu hỏi chỉ tăng vài lần. Sếp hỏi "sao đắt thế", và cả team ngồi nhìn nhau, vì không ai biết tiền đã đi vào đâu.

Câu trả lời gần như lúc nào cũng nằm ở cùng một chỗ: chi phí LLM tính theo token, và token không chỉ là câu hỏi người dùng gõ. Bài này giúp bạn tự tính chi phí một request, hiểu vì sao input và output có giá khác nhau, tìm ra các khoản "ẩn" làm hóa đơn phình to, và biết cắt ở đâu trước.

Chi phí LLM tính thế nào

Hầu hết nhà cung cấp LLM tính tiền theo số token, với hai mức giá riêng:

chi phí 1 request = input_tokens × giá_input + output_tokens × giá_output

Giá thường niêm yết theo một triệu token (1M tokens). Nếu chưa rõ token là gì và vì sao một câu tiếng Việt lại tốn nhiều token hơn câu tiếng Anh cùng nghĩa, đọc bài token là gì trước.

Trong bài này mình dùng giá minh họa: input 1 USD/1M token, output 4 USD/1M token, tỷ giá làm tròn 25.000 đồng/USD. Giá thật thay đổi liên tục và chênh nhau rất xa giữa model nhỏ và model lớn, hãy kiểm tra bảng giá hiện tại của nhà cung cấp bạn dùng rồi thay vào công thức.

Vì sao output đắt hơn input

Gần như mọi bảng giá đều để token đầu ra đắt hơn token đầu vào, thường gấp vài lần. Lý do nằm ở cách model chạy:

PhầnModel làm gìVì sao giá như vậy
InputĐọc toàn bộ prompt một lượt (prefill)Xử lý song song nhiều token cùng lúc trên GPU, tận dụng phần cứng tốt
OutputSinh từng token một (decode)Mỗi token là một lượt tính riêng, tuần tự, GPU phải giữ trạng thái suốt quá trình

Bài streaming LLM đã nói về hai giai đoạn này dưới góc độ thời gian. Ở góc độ tiền thì kết luận tương tự: một token output tốn tài nguyên hơn một token input, nên nó đắt hơn.

Hệ quả thực tế: một câu trả lời dài dòng tốn tiền gấp nhiều lần một câu trả lời gọn. Yêu cầu model "trả lời ngắn gọn, tối đa 5 câu" không chỉ giúp người đọc mà còn giúp ngân sách.

Một lưu ý với các model có chế độ suy luận (reasoning): phần "suy nghĩ" của model trước khi trả lời thường được tính như token output, kể cả khi bạn không nhìn thấy nó. Một câu trả lời hiển thị 100 token có thể đã tiêu vài nghìn token suy luận. Kiểm tra trường usage trong response để biết con số thật.

Ví dụ: tự tính chi phí chatbot quy chế nội bộ

Lấy chatbot hỏi đáp quy chế ở đầu bài. Một lượt hỏi đầu tiên gồm:

Thành phầnToken (ước lượng)Loại
System prompt (vai trò, quy tắc trả lời, định dạng)800Input
Định nghĩa 3 tool (tra phép năm, tra quy chế, tạo đơn nghỉ)600Input
4 đoạn quy chế lấy từ RAG2.000Input
Câu hỏi của nhân viên40Input
Câu trả lời250Output

Tính với giá minh họa:

input  = 3.440 token × 1 USD / 1.000.000 = 0,00344 USD
output =   250 token × 4 USD / 1.000.000 = 0,00100 USD
tổng   ≈ 0,0044 USD ≈ 110 đồng một lượt hỏi

110 đồng nghe rất rẻ. Câu hỏi đầu tiên của nhân viên gõ 40 token, nhưng bạn trả tiền cho gần 3.700 token. Phần lớn chi phí nằm ở thứ người dùng không nhìn thấy.

Các khoản ẩn làm hóa đơn phình to

Lịch sử hội thoại gửi lại mỗi lượt

LLM là stateless: mỗi lượt hỏi tiếp theo phải gửi lại toàn bộ lịch sử (xem bài LLM là stateless). Lượt thứ 10 của một cuộc chat mang theo 9 câu hỏi, 9 câu trả lời, và có thể cả 9 lần kết quả RAG nếu bạn lưu chúng vào lịch sử.

Chi phí input tăng dần theo số lượt trong một cuộc hội thoại LLM

Giả sử mỗi lượt thêm khoảng 2.300 token vào lịch sử (câu hỏi, đoạn quy chế, câu trả lời). Input của lượt thứ n xấp xỉ 3.440 + 2.300 × (n − 1). Lượt 1 khoảng 3.400 token, lượt 10 khoảng 24.000 token. Tổng input của cả cuộc 10 lượt khoảng 138.000 token, gấp hơn 40 lần lượt đầu tiên. Chi phí của cuộc chat tăng gần như theo bình phương số lượt, không phải tuyến tính.

Đây chính là lý do ở đầu bài: khi mở cho toàn công ty, người dùng chat dài hơn, và mỗi lượt sau đắt hơn lượt trước.

Định nghĩa tool và vòng lặp tool

Mỗi tool bạn khai báo đi kèm mọi request, dù model có gọi hay không. Thêm 20 tool "cho đủ bộ" có thể thêm vài nghìn token input cho mỗi lượt.

Với function calling, một câu hỏi có thể thành 3 lần gọi model: lần 1 model đề nghị gọi tool, lần 2 đọc kết quả rồi gọi tool khác, lần 3 trả lời. Mỗi lần đều gửi lại toàn bộ messages. Kết quả tool là một bản ghi JSON 3.000 token thì bạn trả tiền cho nó ở lần 2, lần 3, và mọi lượt sau trong lịch sử.

Retry, eval, và các request bạn quên đếm

  • Retry khi parse JSON lỗi hoặc timeout: mỗi lần retry là một request đầy đủ.

  • Bước phụ: viết lại câu hỏi trước khi tìm kiếm, phân loại ý định, tóm tắt lịch sử. Mỗi bước là một request.

  • Chạy bộ eval mỗi lần đổi prompt: vài trăm câu hỏi nhân với số lần chạy.

  • Môi trường dev và staging dùng chung API key với production.

Ghi log chi phí từng request bằng C#

Bạn không cắt được thứ bạn không đo. Hầu hết API trả về số token đã dùng trong response (trường thường tên là usage, tên field con khác nhau giữa các nhà cung cấp). Ghi nó lại cho từng request, kèm tính năng và người dùng:

public sealed record ModelPrice(decimal InputPerMillion, decimal OutputPerMillion);

public sealed class LlmCostTracker(ILogger<LlmCostTracker> logger)
{
    // Giá minh họa, đọc từ cấu hình thật trong dự án
    private readonly Dictionary<string, ModelPrice> prices = new()
    {
        ["model-small"] = new(0.2m, 0.8m),
        ["model-large"] = new(1.0m, 4.0m)
    };

    public decimal Record(string model, string feature, string userId,
                          int inputTokens, int outputTokens)
    {
        var p = prices[model];
        var cost = inputTokens  * p.InputPerMillion  / 1_000_000m
                 + outputTokens * p.OutputPerMillion / 1_000_000m;

        logger.LogInformation(
            "LLM {Model} {Feature} user={UserId} in={In} out={Out} cost={Cost:F6} USD",
            model, feature, userId, inputTokens, outputTokens, cost);

        return cost;
    }
}

Dùng structured logging như trên, bạn có thể dựng dashboard trả lời được những câu sếp sẽ hỏi: tính năng nào tốn nhất, người dùng nào chat nhiều bất thường, chi phí trung bình một cuộc hội thoại là bao nhiêu. Đừng tự đếm token bằng cách chia độ dài chuỗi cho một hằng số; con số do nhà cung cấp trả về mới là con số họ dùng để tính tiền.

Cắt chi phí ở đâu trước

Thứ tự ưu tiên dưới đây đi từ ít công nhất, hiệu quả nhất:

CáchCắt vào đâuĐánh đổi
Giới hạn độ dài trả lời (dặn trong prompt và đặt số token output tối đa)OutputCâu trả lời có thể bị cụt nếu đặt quá thấp
Cắt lịch sử: giữ vài lượt gần nhất, tóm tắt phần cũInput tăng dần theo lượtModel có thể quên chi tiết đầu cuộc
Không lưu kết quả RAG và kết quả tool vào lịch sử, chỉ lưu câu hỏi và câu trả lờiInputLượt sau muốn dùng lại phải tìm lại
Rút gọn kết quả tool, chỉ trả trường cần thiếtInput ở mọi vòng sauPhải viết thêm mapping
Giảm số đoạn RAG (top 4 thay vì top 10)InputCó thể bỏ sót thông tin, cần đo bằng eval
Prompt caching cho phần tĩnh: system prompt, tool, tài liệu cố địnhInput lặp lạiPhải sắp xếp prompt cho phần tĩnh đứng trước
Dùng model nhỏ cho bước dễ (phân loại, viết lại câu hỏi)Cả haiCần eval để chắc model nhỏ đủ tốt

Hai dòng đầu thường cắt được phần lớn chi phí thừa mà gần như không ảnh hưởng chất lượng. Đổi sang model rẻ hơn hay bị chọn đầu tiên, nhưng nên để sau cùng, vì nó là cách duy nhất trong bảng có thể làm chất lượng giảm rõ rệt.

Checklist ước tính chi phí trước khi lên production

  1. Liệt kê mọi thành phần input của một request: system prompt, tool, tài liệu, lịch sử, câu hỏi.

  2. Ước tính số lượt trung bình mỗi cuộc chat và số cuộc chat mỗi ngày.

  3. Tính chi phí theo công thức, dùng giá hiện tại của nhà cung cấp, có tính lịch sử tăng dần.

  4. Cộng thêm các request phụ: retry, phân loại, viết lại câu hỏi, eval.

  5. Ghi log usage cho từng request, gắn theo tính năng và người dùng.

  6. Đặt giới hạn: số token output tối đa, số lượt tối đa mỗi cuộc chat, hạn mức mỗi người dùng mỗi ngày.

  7. Đặt cảnh báo ngân sách ở tài khoản nhà cung cấp, tách API key cho dev và production.

Kết luận

Chi phí LLM không khó tính, chỉ khó thấy. Công thức chỉ có hai số hạng, nhưng input bao gồm mọi thứ bạn gửi đi: system prompt, tool, tài liệu, lịch sử, kết quả tool. Output ít token hơn nhưng đắt hơn từng token. Hóa đơn bất ngờ thường đến từ lịch sử chat dài và vòng lặp tool, không phải từ câu hỏi của người dùng.

Bước tiếp theo: thêm log usage vào tính năng LLM bạn đang làm và xem một tuần dữ liệu thật trước khi tối ưu bất cứ thứ gì. Bài kế tiếp trong series: prompt caching, cách cắt cả chi phí lẫn độ trễ cho phần prompt lặp lại.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo