Trang chủ Bài viết AI cho Backend Developer Quản lý prompt như code: versioning, review và test
AI cho Backend Developer 22/11/2026 11 lượt xem

Quản lý prompt như code: versioning, review và test

Quản lý prompt như code: versioning, review và test

Thứ Sáu, một bạn trong team chăm sóc khách hàng thấy chatbot của shop trả lời hơi cộc. Bạn ấy mở trang admin, sửa system prompt, thêm một câu: "Luôn xin lỗi khách và cố gắng làm khách hài lòng." Không ai review, vì "chỉ là sửa câu chữ".

Thứ Hai, kế toán hỏi vì sao cuối tuần có 14 yêu cầu hoàn tiền được bot "hứa sẽ xử lý ngay". Hóa ra "cố gắng làm khách hài lòng" được model hiểu rất nhiệt tình. Không ai biết prompt cũ là gì, sửa lúc nào, và bản nào đã trả lời những khách nào.

Nếu bạn là dev backend, kịch bản này nghe rất giống chuyện sửa thẳng code trên server production. Bài này giải thích vì sao prompt nên được quản lý như code, và cách làm cụ thể: lưu ở đâu, đánh version thế nào, review gì, test ra sao, rollback thế nào.

Prompt là logic nghiệp vụ, không phải câu chữ

Trong một ứng dụng LLM, prompt quyết định bot được nói gì, không được nói gì, trả về định dạng nào, khi nào gọi tool. Đó là quy tắc nghiệp vụ, chỉ khác là viết bằng tiếng Việt thay vì C#.

Khác biệt nguy hiểm: code sai thì thường lỗi biên dịch hoặc test đỏ. Prompt sai thì hệ thống vẫn chạy bình thường, chỉ là trả lời khác đi. Không exception, không cảnh báo, cho tới khi khách hoặc sếp phát hiện.

Thay đổiVí dụHậu quả có thể
Thêm một câu "thân thiện""Luôn cố làm khách hài lòng"Bot hứa hoàn tiền, hứa giao nhanh không có thật
Bỏ một ràng buộcXóa dòng "chỉ trả lời theo chính sách bên dưới"Bot trả lời theo kiến thức chung, bịa chính sách
Đổi ví dụ few-shotThay 3 ví dụ mẫuĐịnh dạng đầu ra đổi, code parse phía sau lỗi
Đổi model nhưng giữ promptNâng lên model mớiCùng prompt, hành vi khác, có khi tốt hơn ở chỗ này và tệ hơn ở chỗ khác

Mỗi dòng trong bảng đều là một thay đổi hành vi hệ thống. Chúng xứng đáng được đối xử như thay đổi code.

Năm nguyên tắc quản lý prompt như code

Vòng đời prompt như code: sửa, review, chạy eval, deploy kèm version, theo dõi và rollback

1. Lưu prompt trong repo, tách khỏi code xử lý

Đừng để prompt là chuỗi string rải rác trong 15 file service. Gom về một thư mục riêng, mỗi prompt một file, có version trong tên hoặc trong nội dung:

prompts/
  support-reply/
    v3.md
    v4.md
    examples.json
  refund-classifier/
    v1.md
  README.md

File prompt chứa template với biến rõ ràng, ví dụ {{policy}}, {{order}}, {{question}}. Code chỉ lo điền biến và gọi model. Khi prompt nằm trong file .md, review diff trên pull request dễ đọc hơn nhiều so với một chuỗi raw string trong C#.

2. Mỗi thay đổi đi qua pull request

Sửa prompt là sửa logic nghiệp vụ, nên đi qua đúng quy trình như sửa code: tạo branch, mở pull request, có người review. Người review không chỉ đọc câu chữ, mà hỏi những câu như trong checklist ở phần sau.

Prompt do người không biết code (CSKH, nghiệp vụ) đề xuất thì sao? Họ vẫn đề xuất được, qua pull request hoặc qua một issue, rồi dev đưa vào. Điều cần tránh là ô textarea trên trang admin sửa thẳng production mà không để lại dấu vết.

3. Version bất biến và log version theo từng request

Một khi support-reply/v3 đã lên production, không sửa nội dung v3 nữa. Thay đổi thì tạo v4. Như vậy bất cứ lúc nào bạn cũng trả lời được câu hỏi "khách này nhận câu trả lời từ prompt nào".

Muốn trả lời câu đó, mỗi lần gọi model phải log kèm: tên prompt, version, model, và tốt nhất là một mã hash của nội dung prompt sau khi điền biến. Đây là thông tin quan trọng nhất khi điều tra khiếu nại, và là nền tảng cho tracing.

4. Có bộ test trước khi merge

Code có unit test, prompt có bộ eval. Tối thiểu là vài chục câu hỏi thật kèm tiêu chí đúng: câu này phải từ chối hoàn tiền, câu này phải hỏi mã đơn, câu này phải trả JSON đúng schema. Mỗi pull request sửa prompt chạy bộ này và so với version đang chạy. Chi tiết cách xây bộ test ở bài xây bộ eval set đầu tiên và regression test khi đổi model hoặc prompt.

5. Deploy có kiểm soát, rollback được trong vài phút

Version nào đang dùng nên là cấu hình (feature flag, appsettings, biến môi trường), không phải hằng số trong code. Như vậy bạn có thể cho 10% request dùng v4 để theo dõi, và quay về v3 ngay khi thấy bất thường mà không cần build lại.

Ví dụ triển khai trong .NET

Dưới đây là một cách đơn giản, không phụ thuộc thư viện ngoài: prompt là file .md được nhúng vào assembly (embedded resource), có một lớp registry đọc theo tên và version, kèm hash để log. Tên lớp là do bạn tự định nghĩa.

Khai báo trong file .csproj:

<ItemGroup>
  <EmbeddedResource Include="prompts\**\*.md" />
</ItemGroup>

Lớp registry:

using System.Reflection;
using System.Security.Cryptography;
using System.Text;

public sealed record PromptTemplate(string Name, string Version, string Text, string Hash);

public sealed class PromptRegistry
{
    private readonly Assembly _assembly = typeof(PromptRegistry).Assembly;

    public PromptTemplate Get(string name, string version)
    {
        // Tên resource dạng: <RootNamespace>.prompts.support_reply.v3.md
        var suffix = $".prompts.{name.Replace('-', '_')}.{version}.md";
        var resource = _assembly.GetManifestResourceNames()
            .SingleOrDefault(n => n.EndsWith(suffix))
            ?? throw new InvalidOperationException($"Không tìm thấy prompt {name}/{version}");

        using var stream = _assembly.GetManifestResourceStream(resource)!;
        using var reader = new StreamReader(stream, Encoding.UTF8);
        var text = reader.ReadToEnd();

        var hash = Convert.ToHexString(SHA256.HashData(Encoding.UTF8.GetBytes(text)))[..12];
        return new PromptTemplate(name, version, text, hash);
    }

    public static string Render(PromptTemplate t, IReadOnlyDictionary<string, string> vars) =>
        vars.Aggregate(t.Text, (acc, kv) => acc.Replace("{{" + kv.Key + "}}", kv.Value));
}

Cách đặt tên embedded resource (dấu gạch ngang trong tên thư mục bị đổi thành gạch dưới) phụ thuộc cách MSBuild sinh tên, nên hãy in GetManifestResourceNames() ra một lần để kiểm tra trong project của bạn.

Sử dụng, với version lấy từ cấu hình:

var version = configuration["Prompts:SupportReply"] ?? "v3";
var template = registry.Get("support-reply", version);
var prompt = PromptRegistry.Render(template, new Dictionary<string, string>
{
    ["policy"] = currentPolicy,
    ["order"] = orderJson,
    ["question"] = userQuestion
});

logger.LogInformation(
    "LLM call prompt={Prompt} version={Version} hash={Hash} model={Model}",
    template.Name, template.Version, template.Hash, modelName);

Phiên bản đơn giản này đủ cho phần lớn đội nhỏ. Khi số prompt và số người sửa tăng lên, có các công cụ quản lý prompt chuyên dụng (thường đi kèm nền tảng observability cho LLM), nhưng nguyên tắc vẫn y như trên: version bất biến, có review, có test, có log.

Review một thay đổi prompt: hỏi gì

Review prompt khác review code ở chỗ bạn phải đọc nó bằng mắt của model. Bảng câu hỏi dưới đây dùng được làm template cho pull request:

Câu hỏiVì sao quan trọng
Thay đổi này nhằm sửa ca nào? Có ví dụ input thật không?Tránh sửa theo cảm giác, có ca để kiểm tra lại
Câu mới có mâu thuẫn với quy tắc nào đã có không?"Làm khách hài lòng" mâu thuẫn ngầm với "không hứa hoàn tiền"
Có từ ngữ mơ hồ kiểu "cố gắng", "khi phù hợp", "nếu cần" không?Model diễn giải các từ này rộng hơn bạn nghĩ
Định dạng đầu ra có đổi không? Code parse phía sau có còn chạy?Prompt đổi định dạng là breaking change
Prompt có dài thêm nhiều không?Tăng chi phí và có thể làm chỉ dẫn bị loãng
Bộ eval chạy ra kết quả thế nào so với version cũ?Câu trả lời bằng số, không bằng cảm nhận

Với ví dụ đầu bài, chỉ cần câu hỏi thứ hai và thứ ba là đã chặn được "Luôn xin lỗi khách và cố gắng làm khách hài lòng".

Lỗi hay gặp

  • Prompt nằm trong database, sửa qua trang admin, không lịch sử. Tiện lúc đầu, thảm họa khi cần điều tra. Nếu bắt buộc lưu trong DB, ít nhất phải có bảng version bất biến và log ai sửa, sửa lúc nào.

  • Sửa thẳng version đang chạy. Log ghi "v3" nhưng v3 hôm nay khác v3 hôm qua, log mất giá trị.

  • Không log version theo request. Khi khách khiếu nại, không biết họ đã gặp prompt nào.

  • Test bằng cách hỏi thử 3 câu. Ba câu thấy ổn không có nghĩa câu thứ 40 không hỏng.

  • Đổi model mà nghĩ prompt không đổi. Prompt và model là một cặp. Đổi một trong hai đều cần chạy lại bộ eval.

  • Copy prompt giữa các môi trường bằng tay. Staging một bản, production một bản, không ai chắc chúng giống nhau.

Checklist áp dụng cho đội của bạn

  1. Gom toàn bộ prompt đang nằm rải rác trong code về thư mục prompts/, mỗi prompt một file.

  2. Đặt version cho từng prompt, quy ước không sửa version đã deploy.

  3. Đưa version đang dùng ra cấu hình, rollback không cần build lại.

  4. Log tên prompt, version, hash, model cho mỗi lần gọi LLM.

  5. Thêm template pull request với các câu hỏi review ở trên.

  6. Xây bộ eval tối thiểu 20–30 ca thật và chạy nó trong CI khi thư mục prompts/ thay đổi.

Bước 1 đến 4 thường làm xong trong một ngày. Bước 5 và 6 là phần đem lại giá trị lâu dài.

Kết luận

Prompt là logic nghiệp vụ viết bằng ngôn ngữ tự nhiên, và nó hỏng một cách im lặng. Vì vậy hãy đối xử với nó như code: lưu trong repo, version bất biến, review qua pull request, test bằng bộ eval, deploy có cấu hình và rollback được. Đây là những thói quen dev backend đã có sẵn, chỉ cần áp sang một loại "mã nguồn" mới. Nếu bạn đang viết prompt có ví dụ mẫu hay bước suy luận, đó chính là những thứ cần được version cẩn thận nhất.

Bước tiếp theo: đếm xem hệ thống của bạn có bao nhiêu prompt và chúng đang nằm ở đâu. Phần tiếp theo của series chuyển sang RAG, bắt đầu với bài RAG là gì, khi nào cần và khi nào không.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI cho Backend Developer.

Chia sẻ:

Bài viết liên quan

Zalo