Trang chủ Bài viết AI cho Backend Developer LLM hoạt động thế nào? Chỉ đoán token tiếp theo
AI cho Backend Developer 20/11/2026 2 lượt xem

LLM hoạt động thế nào? Chỉ đoán token tiếp theo

LLM hoạt động thế nào? Chỉ đoán token tiếp theo

Bàn phím điện thoại của bạn có tính năng gợi ý từ. Gõ "em đang", nó gợi ý "làm", "ở", "đi". Bấm liên tục vào gợi ý đầu tiên, bạn sẽ có một câu đọc được nhưng hơi vô nghĩa. Bây giờ hãy tưởng tượng bàn phím đó được huấn luyện trên một lượng văn bản khổng lồ, đủ để gợi ý ra cả một email xin nghỉ phép, một đoạn code C#, một bản tóm tắt hợp đồng. Đó gần như là toàn bộ câu trả lời cho câu hỏi LLM hoạt động thế nào.

LLM (large language model) chỉ làm đúng một việc: nhìn vào đoạn văn bản hiện có và đoán token tiếp theo. Mọi thứ khác bạn thấy, từ trả lời câu hỏi đến viết code hay gọi tool, đều xây trên việc đó lặp đi lặp lại. Bài này giải thích cơ chế ở mức dev cần biết, và quan trọng hơn: cơ chế này kéo theo những hệ quả gì khi bạn đưa LLM vào hệ thống thật.

LLM hoạt động thế nào: đoán token tiếp theo

Trước hết, model không đọc chữ như bạn. Văn bản được cắt thành các mảnh gọi là token, mỗi token ứng với một con số. Một token có thể là cả từ, một phần của từ hoặc vài ký tự.

Với một dãy token đầu vào, model trả ra một bảng xác suất cho mọi token nó biết (thường hàng chục nghìn đến vài trăm nghìn token). Ví dụ minh họa với đầu vào "Thủ đô của Việt Nam là":

Token ứng viênXác suất (minh họa)
" Hà"0,92
" thành"0,03
" một"0,02
" TP"0,01
(hàng chục nghìn token khác)phần còn lại

Các con số trên là minh họa để thấy hình dạng của kết quả, không phải số đo từ model thật. Điểm cần nhớ: model không trả về "câu trả lời". Nó trả về một phân phối xác suất, và một bước khác (gọi là sampling) chọn ra một token từ phân phối đó.

Token được chọn ("Hà") được nối vào cuối đầu vào. Đầu vào mới là "Thủ đô của Việt Nam là Hà". Model chạy lại, đoán token tiếp theo (" Nội"), nối vào, chạy lại. Vòng lặp dừng khi model sinh ra một token đặc biệt báo kết thúc, hoặc khi chạm giới hạn số token đầu ra bạn đặt.

Vòng lặp LLM đoán token tiếp theo: đầu vào, bảng xác suất, chọn token, nối vào và lặp lại

Vòng lặp sinh chữ, viết bằng code

Nếu viết vòng lặp đó bằng C#, nó trông như sau. Đây là mã giả để hiểu cơ chế: Tokenizer, Model.PredictNext và Sample là tên minh họa, bạn không gọi chúng trực tiếp khi dùng API, nhà cung cấp chạy vòng lặp này trên máy chủ của họ.

List<int> tokens = Tokenizer.Encode(prompt);
var output = new List<int>();

for (int step = 0; step < maxTokens; step++)
{
    // 1. Model nhìn TOÀN BỘ dãy token hiện có, trả về xác suất cho mọi token
    float[] probabilities = Model.PredictNext(tokens);

    // 2. Chọn một token theo xác suất (temperature, top-p ảnh hưởng ở bước này)
    int next = Sample(probabilities, temperature);

    // 3. Gặp token kết thúc thì dừng
    if (next == Tokenizer.EndOfText) break;

    // 4. Nối vào và lặp lại
    tokens.Add(next);
    output.Add(next);
}

return Tokenizer.Decode(output);

Ba chi tiết trong vòng lặp này giải thích rất nhiều hành vi bạn sẽ gặp:

  • Mỗi bước chỉ sinh một token. Câu trả lời 500 token nghĩa là 500 lần chạy model. Đó là lý do câu trả lời dài thì chậm, và vì sao các ứng dụng chat hiển thị chữ hiện dần (streaming).

  • Mỗi bước nhìn lại toàn bộ đầu vào. Đầu vào càng dài, mỗi bước càng tốn tài nguyên. Giới hạn độ dài này chính là context window.

  • Bước chọn token có yếu tố ngẫu nhiên. Cùng một đầu vào, lần này chọn token xác suất 0,6, lần sau có thể chọn token xác suất 0,3. Hai câu trả lời bắt đầu khác nhau từ đó và càng đi càng xa.

Vậy vì sao chatbot "trả lời" được câu hỏi?

Nếu model chỉ viết tiếp văn bản, tại sao gõ câu hỏi lại nhận được câu trả lời mà không phải thêm năm câu hỏi khác viết tiếp?

Lý do thứ nhất: cuộc hội thoại được biến thành một đoạn văn bản có đánh dấu vai trò. Khi bạn gửi danh sách message gồm system, user, assistant qua API, phía nhà cung cấp ghép chúng thành một chuỗi dạng như sau (định dạng thật khác nhau theo model, đây là minh họa):

[system] Bạn là trợ lý CSKH của shop thời trang. Trả lời ngắn gọn, lịch sự.
[user] Shop có cho đổi size không ạ?
[assistant]

Model được yêu cầu viết tiếp sau dòng [assistant]. Văn bản "hợp lý nhất" ở vị trí đó là một câu trả lời của trợ lý CSKH.

Lý do thứ hai: sau giai đoạn đọc lượng lớn văn bản (pre-training), model được huấn luyện thêm trên các cuộc hội thoại mẫu và phản hồi của con người, để "viết tiếp hợp lý nhất" trùng với "trả lời hữu ích". Bài pre-training, fine-tuning, RLHF giải thích các giai đoạn này. Ở đây chỉ cần nhớ: dù được huấn luyện thêm thế nào, cơ chế lúc chạy vẫn là đoán token tiếp theo.

Hệ quả cho dev: giải thích hành vi kỳ lạ bằng một cơ chế

Đây là phần đáng tiền nhất của bài. Rất nhiều "lỗi" bạn gặp khi làm ứng dụng LLM thực ra là hệ quả trực tiếp của cơ chế đoán token:

Hành vi bạn thấyGiải thích bằng cơ chếViệc nên làm
Hỏi hai lần, hai câu trả lời khác nhauBước sampling có ngẫu nhiênGiảm temperature cho tác vụ cần ổn định, test nhiều lần thay vì một lần
Trả lời trôi chảy nhưng sai sự thậtModel chọn token "nghe hợp lý", không có bước kiểm tra sự thậtĐưa dữ liệu thật vào context (RAG), cho phép trả lời "không tìm thấy"
Đếm sai số chữ cái, cộng sai số lớnModel nhìn token, không nhìn từng ký tự hay chữ sốGiao phép tính, đếm, so sánh cho code qua tool calling
Không biết chính sách mới của công tyModel chỉ biết dữ liệu tới thời điểm huấn luyệnĐưa tài liệu hiện hành vào prompt
Câu trả lời bị cụt giữa chừngChạm giới hạn số token đầu raTăng giới hạn hoặc yêu cầu trả lời ngắn hơn, theo dõi lý do dừng trong response
Trả lời dài thì chậm và đắtMỗi token đầu ra là một bước chạy modelYêu cầu định dạng gọn, đặt giới hạn đầu ra

Dòng thứ hai đáng nói thêm. Model không có "chế độ nói dối". Khi bạn hỏi về điều khoản số 15 trong quy chế công ty mà nó chưa từng đọc, token "hợp lý nhất" tiếp theo vẫn là một đoạn văn trông giống điều khoản quy chế. Không có cơ chế nào bên trong dừng lại và nói "tôi không biết", trừ khi context và chỉ dẫn khiến câu "tôi không biết" trở thành phần viết tiếp hợp lý nhất. Bài vì sao model bịa đi sâu hơn vào chuyện này.

Prompt tệ và prompt tốt, nhìn bằng con mắt "đoán tiếp"

Hiểu model đang viết tiếp văn bản, bạn sẽ thấy prompt không phải là "ra lệnh", mà là dựng phần đầu của một văn bản sao cho phần viết tiếp hợp lý nhất chính là thứ bạn cần.

Prompt tệ cho chatbot CSKH:

Trả lời khách hàng: "Đơn em giao chậm quá, hủy được không?"

Phần viết tiếp "hợp lý" có thể là bất cứ thứ gì: một lời xin lỗi chung chung, một lời hứa hoàn tiền mà shop không có chính sách, thậm chí một đoạn hướng dẫn cách hủy đơn trên một sàn thương mại điện tử khác.

Prompt tốt hơn:

Bạn là nhân viên CSKH của shop thời trang ABC.
Chính sách hủy đơn: chỉ hủy được khi đơn chưa bàn giao cho đơn vị vận chuyển.
Trạng thái đơn #A1023: đã bàn giao vận chuyển ngày 18/11, dự kiến giao 21/11.
Quy tắc: không hứa hoàn tiền, không đưa thông tin ngoài dữ liệu trên.
Nếu không hủy được, giải thích ngắn và đề xuất từ chối nhận hàng khi shipper giao.

Khách: "Đơn em giao chậm quá, hủy được không?"
Trả lời:

Với đầu vào này, phần viết tiếp có xác suất cao nhất là một câu trả lời đúng chính sách, đúng trạng thái đơn. Bạn không làm model "thông minh hơn". Bạn chỉ thu hẹp không gian những gì "hợp lý để viết tiếp". Đây cũng là nền móng của context engineering ở các bài sau.

Bốn hiểu lầm phổ biến về LLM

  • "Model tra cứu database khi trả lời." Không. Khi chạy, model chỉ có trọng số đã học và đoạn văn bản bạn gửi. Nếu có tra cứu, đó là ứng dụng của bạn tra rồi đưa kết quả vào prompt.

  • "Model nhớ cuộc trò chuyện hôm qua." Không. Mỗi lần gọi là độc lập. Cảm giác "nhớ" đến từ việc ứng dụng gửi lại lịch sử.

  • "Temperature bằng 0 thì kết quả luôn giống hệt." Thường ổn định hơn nhiều, nhưng nhiều nhà cung cấp không cam kết giống hệt tuyệt đối giữa các lần gọi. Đừng viết test dựa vào điều đó.

  • "Model tự chạy code hoặc gọi API." Không. Model chỉ sinh ra văn bản mô tả lời gọi, app của bạn mới là bên chạy.

Thí nghiệm 15 phút để thấy tận mắt

Đọc thì dễ quên, tự chạy thì nhớ lâu. Ba thí nghiệm dưới đây chỉ cần một console app gọi API bất kỳ:

  1. Cùng câu hỏi, chạy 5 lần. Hỏi "Viết một câu slogan cho quán cà phê" với temperature cao (ví dụ 1,0), rồi chạy lại với temperature 0. So độ khác nhau giữa các lần.

  2. Xem xác suất token. Một số nhà cung cấp cho phép trả về xác suất của các token ứng viên (thường gọi là logprobs). Kiểm tra tài liệu của bên bạn dùng; nếu có, hãy bật lên cho câu "Thủ đô của Việt Nam là" và một câu mơ hồ hơn như "Lương trung bình của dev .NET là", để thấy phân phối "chắc chắn" và "phân vân" khác nhau thế nào.

  3. Đặt giới hạn đầu ra rất nhỏ. Đặt giới hạn 10 token và hỏi một câu cần trả lời dài. Xem câu trả lời bị cắt ra sao và trường nào trong response cho biết lý do dừng.

// Thí nghiệm 1: llm là lớp bọc minh họa của bạn quanh HTTP client
foreach (var temp in new[] { 1.0, 0.0 })
{
    Console.WriteLine($"--- temperature = {temp}");
    for (int i = 0; i < 5; i++)
    {
        var text = await llm.CompleteAsync("Viết một câu slogan cho quán cà phê", temperature: temp);
        Console.WriteLine(text);
    }
}

Chạy xong ba thí nghiệm, bạn sẽ không bao giờ viết Assert.Equal cho output của LLM nữa. (Và có thể có thêm vài slogan dùng được cho quán cà phê của bạn bè.)

Tóm lại

LLM hoạt động bằng cách đoán token tiếp theo, chọn một token theo xác suất, nối vào rồi lặp lại. Từ một cơ chế đó suy ra được gần hết hành vi bạn sẽ gặp: kết quả không cố định, bịa trôi chảy, chậm khi viết dài, kém với phép đếm, không biết dữ liệu mới. Việc của AI Engineer là thiết kế hệ thống quanh những đặc điểm này: đưa đúng dữ liệu vào context, giao phép tính cho code, và đo chất lượng bằng nhiều lần chạy.

Bài tiếp theo trong series đi vào đơn vị nhỏ nhất của mọi thứ ở trên: token là gì, và vì sao tiếng Việt tốn token hơn tiếng Anh. Sau đó, bài về temperature và top-p giải thích kỹ bước chọn token trong vòng lặp.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo