llama.cpp phát hành v1.0.0: nền tảng vững chắc hơn cho hệ sinh thái AI cục bộ
llama.cpp cho phép chạy các mô hình ngôn ngữ lớn đa phương thức trên nhiều loại phần cứng, từ máy cá nhân phổ thông đến máy chủ doanh nghiệp cao cấp. Nhờ lượng tử hóa, các backend tối ưu và cách triển khai C/C++ dễ chuyển đổi, dự án hướng tới việc đưa suy luận AI đến mọi tầng của ngăn xếp phần mềm. Nhóm phát triển tự nhận đây là nền tảng nhẹ, linh hoạt và hợp lý để xây dựng các sản phẩm AI đa nền tảng và bảo vệ quyền riêng tư.
Cột mốc sau 3,5 năm phát triển
Trong 3,5 năm kể từ khi ra đời, dự án đã phát triển mạnh và nhiều ứng dụng phía sau đã phụ thuộc vào công việc này. Nhóm kỳ vọng xu hướng đó tiếp tục khi AI cục bộ và quyền riêng tư ngày càng quan trọng trong đời sống. Mỗi tích hợp mới đồng nghĩa thêm nhiều nhà phát triển phụ thuộc vào giao diện thư viện, vì vậy một API linh hoạt nhưng ổn định là yêu cầu tối quan trọng.
Việc phát hành thư viện v1.0.0 thể hiện trách nhiệm với các nhà phát triển đó. Từ nay, cả llama.cpp và ggml sẽ phản ánh các điểm không tương thích về API và ABI bằng việc tăng số phiên bản chính. Khi mức độ sử dụng tăng lên, nhóm sẽ nghiêm ngặt hơn trong việc làm rõ các ranh giới này cho người dùng phía sau.
Quy tắc phiên bản và phân phối
Bản phát hành nêu các quy tắc cập nhật phiên bản ngữ nghĩa áp dụng cho mọi dự án của ggml-org. Nhóm cũng cho biết đang hướng tới mở rộng các cách phân phối phần mềm ggml-org để tiếp cận nhà phát triển và người dùng cuối, kèm hướng dẫn thêm dự án ggml-org vào quy trình đóng gói và phát hành.
Phát triển và hạ tầng CI
Dự án đã xây dựng được cộng đồng mã nguồn mở với nhiều cộng tác viên có kỹ năng cao. Trước sự tiến bộ nhanh của năng lực AI trong lĩnh vực kỹ thuật phần mềm, nhóm tiếp tục thích nghi và tích hợp LLM vào chu trình phát triển một cách có cân nhắc và hợp lý. Duy trì chất lượng mã nguồn cao, kiểm soát kiến trúc và hiểu rõ chi tiết triển khai vẫn là ưu tiên hàng đầu.
Để củng cố nhịp phát triển nhanh hơn, nhóm tiếp tục đầu tư nhiều nguồn lực hơn vào hạ tầng CI. Nhờ các công nghệ của Hugging Face như HF Buckets và HF Jobs, dự án có thể mở rộng năng lực cần thiết để bảo đảm tính đúng đắn cho mọi thay đổi được đưa vào nhánh master. Với hỗ trợ phần cứng từ NVIDIA, AMD, Qualcomm, Arm, IBM và Intel, nhóm tiếp tục bổ sung thêm các runner tự vận hành trên mọi nền tảng phần cứng chính.
Backend và độ phủ mô hình
Công cụ học máy nền tảng của llama.cpp là ggml, được thiết kế để chạy trên gần như mọi phần cứng hiện có. Điều này đạt được nhờ triển khai các backend ggml chuyên dụng; mỗi backend có thể biên dịch thành thư viện động và tùy chọn nạp khi chạy. Danh sách đầy đủ các backend hiện có được công bố trong tài liệu của dự án.
Nhóm cam kết hỗ trợ liên tục mọi kiến trúc mô hình. Hiện llama.cpp hỗ trợ hơn 150 biến thể kiến trúc cùng toàn bộ các phương pháp giải mã suy đoán chính thống.
Lời cảm ơn
Đội ngũ llama.cpp tại Hugging Face gửi lời cảm ơn tới sự ủng hộ của cộng đồng, đặc biệt là các maintainer lâu năm và toàn bộ cộng tác viên. Đây là cột mốc quan trọng khó có thể đạt được nếu không có nỗ lực chung.
Nguồn: Hugging Face Blog
Trích nguồn từ: Hugging Face Blog
Bài viết liên quan
NuGet.org ra mắt tính năng xuất bản theo giai đoạn (staged publishing)
NuGet.org giới thiệu staged publishing, cho phép nhà phát triển tải gói lên và kiểm tra riêng tư trước khi quyết định phát hành công khai, tách biệt bước chuẩn bị và bước công bố.
Đọc thêm
Agent Host Protocol: phiên làm việc của AI agent liên tục trên nhiều thiết bị
GitHub giới thiệu Agent Host Protocol (AHP), chuẩn mở giúp phiên làm việc của AI agent tiếp tục xuyên suốt giữa VS Code, ứng dụng Copilot và thiết bị di động.
Đọc thêmRa mắt GPT-6.2 Astra và Sol
OpenAI giới thiệu GPT-6.2 Astra và Sol với khả năng xử lý công việc chuyên môn, lập trình và sử dụng máy tính tốt hơn, tiết kiệm chi phí hơn trên ChatGPT Work, Codex và API.
Đọc thêmDavid E. Wheeler ra mắt bộ GitHub Actions mới cho PGXN
Tác giả David E. Wheeler giới thiệu ba GitHub Actions mới thay thế pgxn-tools cũ, giúp build, test và phát hành extension PostgreSQL trên PGXN nhanh hơn, hỗ trợ đa nền tảng.
Đọc thêm
Giảm bộ nhớ PostgreSQL để cắt một nửa hóa đơn cloud
Dinesh Kumar chia sẻ cách tinh chỉnh một thiết lập pooler giúp bộ nhớ PostgreSQL giảm từ 93% xuống 50% và chi phí cloud từ 630 USD xuống 320 USD mỗi tháng.
Đọc thêm
Cloudflare ra mắt Spend Management: giới hạn chi tiêu và cảnh báo cho nền tảng đám mây
Cloudflare giới thiệu Spend Management (bản Beta) cho khách hàng trả theo mức dùng, bắt đầu với Workers và Durable Objects, cho phép đặt ngưỡng chi tiêu, nhận cảnh báo và tự động tạm dừng dịch vụ khi chạm giới hạn.
Đọc thêm
Kitesurf của Cloudflare chính thức mã nguồn mở
Cloudflare phát hành Kitesurf, trình duyệt không trạng thái dành cho AI agent chạy trên Workers, theo giấy phép Apache 2.0 trên GitHub.
Đọc thêm
Vercel Cron Jobs trong môi trường production: an toàn và chống trùng lặp với Next.js
Hướng dẫn xây dựng cron job trên Vercel với Next.js, dùng CRON_SECRET, khóa PostgreSQL và cơ chế backfill có kiểm soát để xử lý lịch chạy bị trễ hoặc lặp lại.
Đọc thêm
Cloudflare chọn QuePaxa: thuật toán đồng thuận không cần leader cho mạng toàn cầu
Cloudflare giới thiệu Meerkat, dịch vụ đồng thuận phân tán thử nghiệm dùng thuật toán QuePaxa thay vì Raft hay Paxos, nhằm duy trì ổn định trên mạng diện rộng có độ trễ biến động.
Đọc thêm
Claude Fable 5.2 vượt GPT-6 Cyber trong bài kiểm tra tấn công mạng đa giai đoạn
Anthropic ra mắt Claude Fable 5.2 và Claude Mythos 5.2 với cải thiện về lập trình, suy luận và thị giác; Fable 5.2 đạt 76,3% trên CyScenarioBench, cao hơn mức 61% của GPT-6 Cyber.
Đọc thêm