llama.cpp phát hành v1.0.0: nền tảng vững chắc hơn cho hệ sinh thái AI cục bộ

llama.cpp cho phép chạy các mô hình ngôn ngữ lớn đa phương thức trên nhiều loại phần cứng, từ máy cá nhân phổ thông đến máy chủ doanh nghiệp cao cấp. Nhờ lượng tử hóa, các backend tối ưu và cách triển khai C/C++ dễ chuyển đổi, dự án hướng tới việc đưa suy luận AI đến mọi tầng của ngăn xếp phần mềm. Nhóm phát triển tự nhận đây là nền tảng nhẹ, linh hoạt và hợp lý để xây dựng các sản phẩm AI đa nền tảng và bảo vệ quyền riêng tư.

Cột mốc sau 3,5 năm phát triển

Trong 3,5 năm kể từ khi ra đời, dự án đã phát triển mạnh và nhiều ứng dụng phía sau đã phụ thuộc vào công việc này. Nhóm kỳ vọng xu hướng đó tiếp tục khi AI cục bộ và quyền riêng tư ngày càng quan trọng trong đời sống. Mỗi tích hợp mới đồng nghĩa thêm nhiều nhà phát triển phụ thuộc vào giao diện thư viện, vì vậy một API linh hoạt nhưng ổn định là yêu cầu tối quan trọng.

Việc phát hành thư viện v1.0.0 thể hiện trách nhiệm với các nhà phát triển đó. Từ nay, cả llama.cpp và ggml sẽ phản ánh các điểm không tương thích về API và ABI bằng việc tăng số phiên bản chính. Khi mức độ sử dụng tăng lên, nhóm sẽ nghiêm ngặt hơn trong việc làm rõ các ranh giới này cho người dùng phía sau.

Quy tắc phiên bản và phân phối

Bản phát hành nêu các quy tắc cập nhật phiên bản ngữ nghĩa áp dụng cho mọi dự án của ggml-org. Nhóm cũng cho biết đang hướng tới mở rộng các cách phân phối phần mềm ggml-org để tiếp cận nhà phát triển và người dùng cuối, kèm hướng dẫn thêm dự án ggml-org vào quy trình đóng gói và phát hành.

Phát triển và hạ tầng CI

Dự án đã xây dựng được cộng đồng mã nguồn mở với nhiều cộng tác viên có kỹ năng cao. Trước sự tiến bộ nhanh của năng lực AI trong lĩnh vực kỹ thuật phần mềm, nhóm tiếp tục thích nghi và tích hợp LLM vào chu trình phát triển một cách có cân nhắc và hợp lý. Duy trì chất lượng mã nguồn cao, kiểm soát kiến trúc và hiểu rõ chi tiết triển khai vẫn là ưu tiên hàng đầu.

Để củng cố nhịp phát triển nhanh hơn, nhóm tiếp tục đầu tư nhiều nguồn lực hơn vào hạ tầng CI. Nhờ các công nghệ của Hugging Face như HF Buckets và HF Jobs, dự án có thể mở rộng năng lực cần thiết để bảo đảm tính đúng đắn cho mọi thay đổi được đưa vào nhánh master. Với hỗ trợ phần cứng từ NVIDIA, AMD, Qualcomm, Arm, IBM và Intel, nhóm tiếp tục bổ sung thêm các runner tự vận hành trên mọi nền tảng phần cứng chính.

Backend và độ phủ mô hình

Công cụ học máy nền tảng của llama.cpp là ggml, được thiết kế để chạy trên gần như mọi phần cứng hiện có. Điều này đạt được nhờ triển khai các backend ggml chuyên dụng; mỗi backend có thể biên dịch thành thư viện động và tùy chọn nạp khi chạy. Danh sách đầy đủ các backend hiện có được công bố trong tài liệu của dự án.

Nhóm cam kết hỗ trợ liên tục mọi kiến trúc mô hình. Hiện llama.cpp hỗ trợ hơn 150 biến thể kiến trúc cùng toàn bộ các phương pháp giải mã suy đoán chính thống.

Lời cảm ơn

Đội ngũ llama.cpp tại Hugging Face gửi lời cảm ơn tới sự ủng hộ của cộng đồng, đặc biệt là các maintainer lâu năm và toàn bộ cộng tác viên. Đây là cột mốc quan trọng khó có thể đạt được nếu không có nỗ lực chung.

Nguồn: Hugging Face Blog