Trang chủ Bài viết AI Engineer AI Engineer cần học gì? Bản đồ từ Model đến Production
AI Engineer 20/11/2026 1 lượt xem

AI Engineer cần học gì? Bản đồ từ Model đến Production

AI Engineer cần học gì? Bản đồ từ Model đến Production

Gõ "AI Engineer cần học gì" lên Google, bạn sẽ nhận về một danh sách dài: đại số tuyến tính, xác suất thống kê, Python, PyTorch, TensorFlow, huấn luyện mạng neural... Đọc xong, một dev .NET 5 năm kinh nghiệm thường kết luận: "Chắc phải học lại từ đầu, hẹn năm sau".

Kết luận đó sai hướng. AI Engineer không phải người huấn luyện model, mà là người xây hệ thống chạy được trên các model có sẵn. Phần lớn công việc đó là kỹ năng backend bạn đã có, cộng thêm một số mảnh mới. Bài này vẽ ra bản đồ các mảnh đó theo 7 tầng, kèm ranh giới "đủ dùng" và "chưa cần học" cho từng tầng, và một ví dụ dự án đi qua lần lượt từng tầng.

AI Engineer cần học gì: bản đồ 7 tầng từ Model đến Production

Hãy nhìn một ứng dụng AI như một chồng tầng, từ dưới lên: Model, API, Context, RAG, Agent, Eval, Production. Mỗi tầng dựa vào tầng bên dưới, và mỗi tầng đều có một lượng kiến thức vừa đủ để làm việc, không cần đào tới đáy.

Bản đồ 7 tầng AI Engineer cần học từ Model đến Production

TầngĐủ dùng là gìChưa cần học
1. ModelGiải thích được token, context window, temperature; biết vì sao model "bịa"; chọn model theo chất lượng, độ trễ, chi phíCông thức attention, huấn luyện model từ đầu, tối ưu GPU
2. APIGọi API, streaming, structured output có validate schema, xử lý lỗi, timeout, retry; tool callingTự viết SDK cho từng nhà cung cấp
3. ContextQuản lý lịch sử hội thoại, cắt tỉa và tóm tắt context dài, viết prompt có cấu trúcDanh sách "mẹo prompt" theo từng model
4. RAGPipeline ingest, chunk, embed, retrieve, generate; pgvector; hybrid search và reranking khi cầnVector database chuyên dụng ở quy mô hàng tỷ vector
5. AgentTự viết được agent loop; điều kiện dừng; human-in-the-loop; khi nào không nên dùng agentMọi framework agent đang có trên thị trường
6. EvalXây bộ eval nhỏ từ dữ liệu thật, chạy lại khi đổi prompt hoặc model, hiểu giới hạn của LLM-as-judgeBenchmark học thuật
7. ProductionĐo token và chi phí, tracing, caching, chống prompt injection, không đưa PII vào promptTự dựng hạ tầng serving GPU

Cột thứ ba quan trọng không kém cột thứ hai. Người mới vấp nhiều nhất ở chỗ tự đặt bài tập quá lớn cho mình, kiểu "tuần này đọc hết paper về Transformer rồi mới viết dòng code đầu tiên".

Ba tầng đầu: Model, API, Context

Đây là phần dev backend vào nhanh nhất, vì về bản chất nó là tích hợp một dịch vụ bên ngoài. Bạn đã làm việc này với cổng thanh toán, với dịch vụ gửi SMS, với hệ thống của đối tác.

Điểm khác nằm ở chỗ dịch vụ này không xác định: cùng một đầu vào có thể ra hai đầu ra khác nhau. Vì vậy ở tầng Model, thứ bạn cần hiểu không phải toán bên trong, mà là các "núm vặn" ảnh hưởng tới hành vi: token quyết định chi phí, context window quyết định model nhìn thấy gì, temperature quyết định độ ngẫu nhiên. Gốc của tất cả là một cơ chế đơn giản: LLM chỉ đoán token tiếp theo.

Ở tầng API, cái bẫy lớn nhất là nghĩ LLM nhớ được cuộc trò chuyện. Nó không nhớ. Mỗi request là một lần gọi độc lập, cái bạn gọi là "memory" thực ra là việc ứng dụng gửi lại lịch sử. Hiểu điều này rồi, bạn sẽ tự suy ra được vì sao hội thoại càng dài thì càng tốn tiền và càng chậm.

Một request ở tầng API trông như sau (dạng chung, tên field cụ thể khác nhau giữa các nhà cung cấp):

{
  "model": "ten-model",
  "messages": [
    { "role": "system", "content": "Bạn là trợ lý tra cứu quy chế nội bộ. Trả lời ngắn, dẫn điều khoản." },
    { "role": "user", "content": "Nghỉ phép năm có được cộng dồn sang năm sau không?" },
    { "role": "assistant", "content": "Theo Điều 8, phép năm chưa dùng được chuyển tối đa sang quý 1 năm sau." },
    { "role": "user", "content": "Vậy hết quý 1 chưa dùng thì sao?" }
  ],
  "max_tokens": 400
}

Để ý tin nhắn thứ ba: đó là câu trả lời cũ của model, do ứng dụng gửi lại. Bỏ nó đi, câu "vậy hết quý 1 thì sao" trở nên vô nghĩa với model.

Tầng Context là chỗ công việc chuyển từ "viết prompt" sang "quyết định đưa gì vào context". Nhồi thêm tài liệu không làm model giỏi hơn, thường còn làm nó kém đi.

RAG và Agent: hai tầng người ta hay học sai thứ tự

Nhiều người nhảy thẳng vào agent vì nó nghe hấp dẫn. Thứ tự hợp lý hơn là RAG trước. RAG buộc bạn thực hành những thứ nền tảng: chia tài liệu, tìm kiếm, ghép context, và quan trọng nhất là đo xem câu trả lời có đúng không.

Với dev PostgreSQL, đây là tin tốt: pgvector thường đủ cho bài toán doanh nghiệp vừa, bạn không cần học thêm một hệ cơ sở dữ liệu mới chỉ để bắt đầu.

Agent thì ngắn gọn hơn người ta tưởng. Về bản chất nó là model, một vòng lặp và vài công cụ. Cách học tốt nhất là tự viết vòng lặp đó không dùng framework, khoảng vài chục dòng code. Làm xong, bạn đọc framework nào cũng thấy nó chỉ là lớp bọc quanh cùng cơ chế. Câu hỏi khó hơn nằm ở phán đoán: khi nào không nên dùng agent, vì một workflow cố định rẻ hơn, dễ kiểm soát hơn và dễ debug hơn.

Ví dụ: "khách hỏi trạng thái đơn hàng" là một luồng cố định (xác thực, tra đơn, trả lời), không cần agent tự quyết bước nào trước. "Nhân viên kế toán nhờ đối chiếu hóa đơn với ba hệ thống rồi soạn email báo sai lệch" mới là chỗ agent có giá trị, vì số bước và thứ tự thay đổi theo từng trường hợp.

Eval và Production: hai tầng bị bỏ qua nhiều nhất

Hai tầng này tạo ra khoảng cách giữa người làm demo và người làm hệ thống. Demo chạy được trên máy bạn, nhưng ai trả lời được câu "nó đúng bao nhiêu phần trăm"?

Eval nghe lạ nhưng gần với thứ bạn đã biết: nó là unit test cho đầu ra không xác định. Bạn thu thập câu hỏi thật, ghi câu trả lời mong đợi, chạy lại mỗi lần đổi prompt hoặc model, và xem điểm tăng hay giảm. Không có bước này, mọi lần "cải thiện prompt" chỉ là cảm giác. Bài không có eval thì không có AI Engineering giải thích kỹ phần này.

Production gồm những việc quen thuộc với backend dev, chỉ thêm vài rủi ro mới:

  • Chi phí: đo số token theo từng request, vì hóa đơn tăng theo lượng dùng chứ không theo số server.

  • Quan sát: tracing để thấy agent đã gọi công cụ nào, theo thứ tự nào.

  • Bảo mật: prompt injection là SQL injection của thời AI; dữ liệu cá nhân không được đi vào prompt một cách tùy tiện.

  • Độ trễ: cache, chọn model nhỏ hơn cho việc đơn giản.

Một dự án đi qua cả 7 tầng

Bản đồ dễ hiểu hơn khi gắn vào một dự án. Lấy chatbot hỏi đáp quy chế nhân sự cho một công ty 300 người, làm dần trong vài tuần buổi tối:

TầngViệc cụ thể trong dự ánDấu hiệu đã xong
1. ModelSo 2–3 model trên 20 câu hỏi quy chế, ghi lại chất lượng, độ trễ, chi phíCó bảng so sánh tự đo, không dựa vào quảng cáo
2. APIConsole app C# gọi model, có timeout, retry, in số tokenChạy được, log đủ token vào và ra
3. ContextSystem prompt có vai trò, quy tắc "không biết thì nói không biết", cắt lịch sử hội thoại dàiHội thoại 20 lượt không vượt ngân sách token đã đặt
4. RAGCắt file quy chế thành đoạn, lưu pgvector, tìm 5 đoạn liên quanCâu trả lời kèm tên văn bản và điều khoản
5. AgentThêm tool "tra số ngày phép còn lại" chỉ đọc dữ liệu của chính người hỏiKhông tra được dữ liệu của người khác, kể cả khi bị dụ
6. Eval100 câu hỏi thật từ phòng nhân sự, kèm đáp án mong đợiChạy một lệnh ra điểm, so được trước và sau mỗi thay đổi
7. ProductionDashboard chi phí theo ngày, tracing, lọc số CCCD và số điện thoại khỏi logTrả lời được "tháng này tốn bao nhiêu, câu nào sai, vì sao"

Không cần làm hết bảy tầng mới gọi là học xong. Nhưng nếu dự án mẫu của bạn dừng ở tầng 4, đó vẫn là demo, chưa phải hệ thống.

Những thứ bạn có thể hoãn lại (và 3 hiểu lầm hay gặp)

Ba hiểu lầm khiến dev học AI sai hướng nhiều nhất:

  1. "Phải học toán trước." Toán giúp bạn hiểu sâu hơn, nhưng không cần để bắt đầu. Bạn dùng database mà không cần học lý thuyết quan hệ trước đó.

  2. "Phải biết train model." Đó là việc của ML Engineer. AI Engineer dùng model có sẵn và làm cho nó hoạt động đáng tin trong một hệ thống thật.

  3. "Phải theo kịp mọi framework." Framework thay đổi theo quý, cơ chế bên dưới thay đổi chậm hơn nhiều. Học cơ chế, framework sẽ tự dễ.

Ba hiểu lầm này được mổ xẻ kỹ trong bài 3 hiểu lầm khiến dev học AI sai hướng.

Python cũng thuộc nhóm "nên biết, chưa cần ngay". Nhiều hệ AI vẫn viết bằng C# hay TypeScript hoàn toàn bình thường. Python có ích khi bạn đọc mã nguồn mẫu và công cụ cộng đồng, nên học dần theo nhu cầu, ở mức đọc hiểu là đủ cho giai đoạn đầu.

Tự kiểm tra: bạn đang ở đâu?

Thay vì hỏi "mình biết chưa", hãy hỏi "mình làm được chưa". Mỗi dòng dưới đây là một việc có thể kiểm chứng. Đánh dấu những việc bạn đã tự tay làm:

  • Giải thích được vì sao cùng một nội dung, tiếng Việt có thể tốn nhiều token hơn tiếng Anh.

  • Gọi LLM API và nhận về JSON đúng schema, có xử lý khi model trả sai định dạng.

  • Định nghĩa một tool và xử lý đúng một lượt tool calling.

  • Dựng pipeline RAG cơ bản và có con số cho thấy truy xuất đúng hay sai.

  • Tự viết một agent loop có điều kiện dừng và giới hạn số bước.

  • Có bộ eval chạy lại được khi đổi prompt hoặc model.

  • Xem được chi phí token của từng request trong ứng dụng của mình.

Làm được 2–3 dòng đầu là bạn đang ở mức nền tảng. Làm được phần lớn danh sách thì bạn đã gần với công việc thật của một AI Engineer. Mức độ thành thạo không đo bằng số dòng đã tích, mà bằng việc bạn giải thích được vì sao chọn cách này mà không phải cách khác. Không có khóa học nào biến bạn thành người dày dạn vận hành production chỉ sau vài tuần, phần đó chỉ đến từ việc chạy hệ thống thật.

Bắt đầu từ đâu

Nếu chỉ chọn một điểm xuất phát, hãy chọn tầng 2: viết một chương trình C# nhỏ gọi LLM API, in ra số token đã dùng, rồi mở rộng dần lên các tầng trên. Mỗi tầng chỉ cần một buổi tối thực hành đúng nghĩa, không cần chờ "học xong lý thuyết".

Tóm lại: bảy tầng, mỗi tầng có ranh giới "đủ dùng" rõ ràng, và thứ tự hợp lý là đi từ dưới lên, RAG trước agent, eval song song với mọi thứ. Bài tiếp theo trong series nói về 3 hiểu lầm khiến dev học AI sai hướng, để bạn khỏi mất vài tháng vào những đoạn đường không cần đi.

Xem bản tóm tắt dưới một phút trên YouTube @teduco hoặc TikTok @teducolabs, và đọc thêm các bài khác trong chuyên mục AI Engineer.

Chia sẻ:

Bài viết liên quan

Zalo