StateBench: Đánh giá khả năng theo dõi thay đổi trạng thái của mô hình ngôn ngữ trong tài liệu dài

Nhóm nghiên cứu công bố StateBench, một bộ đánh giá dành cho bài toán theo dõi trạng thái trong ngữ cảnh dài, tức khả năng mô hình ngôn ngữ bám theo thông tin về các thực thể khi thông tin đó thay đổi dần trong tài liệu. Bài toán này xuất hiện từ việc đọc mã nguồn, nơi biến được gán rồi gán lại, đến việc theo dõi cốt truyện khi nhân vật di chuyển và đồ vật đổi chủ. Không phải mọi bài toán theo dõi trạng thái đều như nhau: có trường hợp chỉ cần tìm cập nhật mới nhất, nhưng cũng có trường hợp phải lần theo chuỗi thay đổi, sai một bước là sai kết quả cuối.

Bốn mức độ khó

StateBench chia thành bốn mức, tương ứng với các kiểu phép gán biến phức tạp dần:

• Mức r-trivial: giá trị biến không bao giờ đổi, mô hình chỉ cần nhớ giá trị ban đầu, giống như ngày sinh.
• Mức aperiodic: cho phép gán lại theo giá trị, mô hình cần tìm giá trị mới nhất và bỏ qua giá trị cũ, giống như cài đặt nhiệt độ trên máy điều hòa.
• Mức soluble: thêm cập nhật tự tham chiếu, mỗi lần cập nhật dựa trên giá trị hiện tại, giống như điểm số trong trò chơi cộng dồn.
• Mức general finite: thêm phép gán theo tham chiếu, một biến nhận giá trị hiện tại của biến khác, tạo phụ thuộc giữa các lần cập nhật, ví dụ trò chuyển ba quả bóng giữa năm chiếc cốc.

Các mức này gắn với lý thuyết Krohn–Rhodes, mô tả cách phân rã bài toán theo dõi trạng thái thành các phép nguyên thủy. Để so sánh công bằng, nhóm nghiên cứu lấy một chuỗi phép gán tổng quát rồi suy ra ba phiên bản dễ hơn, giữ nguyên số biến, số giá trị và vị trí các phép gán, chỉ đổi kiểu gán.

Kết quả với mô hình huấn luyện sẵn

Nhóm thử nghiệm trên các mô hình mở đã huấn luyện sẵn gồm Olmo 3 (transformer) và Olmo Hybrid (bổ sung lớp Gated DeltaNet) cùng các mô hình 275 triệu và 2,7 tỷ tham số. Tất cả được huấn luyện trên cùng dữ liệu, chưa từng thấy ngữ cảnh dài quá 64.000 token, và phần lớn được kiểm tra với đầu vào vượt xa độ dài đó.

Hầu hết mô hình làm tốt ở mức r-trivial, giảm độ chính xác ở mức aperiodic khi đầu vào dài ra, và chỉ đạt mức ngẫu nhiên ở mức general finite. Định dạng bài toán cũng ảnh hưởng: mô hình hybrid và Gated DeltaNet 275 triệu tham số gần đạt điểm tối đa với bài r-trivial kiểu RULER nhưng gần như đoán mò khi cùng bài toán được trình bày dưới dạng chỉnh sửa bảng tính. Đây là lý do StateBench kiểm tra cùng một bài toán ở nhiều định dạng.

Mô hình tiên tiến

Bốn mô hình tiên tiến là Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol và Luna được yêu cầu đọc chuỗi phép gán và sinh giá trị cuối của từng biến. Cả bốn làm tốt ở mức r-trivial và aperiodic, nhưng ở mức soluble và general finite độ chính xác giảm mạnh khi đầu vào dài hơn, xuống còn 13% hoặc thấp hơn ở các bài general finite dài nhất. Một yếu tố được cho là độ nhạy: ở mức khó, nhiều bước có thể ảnh hưởng tới đáp án cuối nên chỉ cần bỏ sót một cập nhật là sai.

Huấn luyện trực tiếp trên bài toán

Nhóm nghiên cứu huấn luyện từ đầu các mô hình 275 triệu tham số trên StateBench: hai biến thể transformer, hai hybrid và hai biến thể Gated DeltaNet với ràng buộc cập nhật bộ nhớ khác nhau. Mô hình học trên chuỗi tối đa 256 phép gán và được kiểm tra với chuỗi dài tới 64.000 phép gán, gấp 250 lần độ dài huấn luyện.

Khi chuỗi dài ra, các kiến trúc bắt đầu khác biệt. Gated DeltaNet và mô hình hybrid tổng quát hóa gần như hoàn hảo ở ba mức dễ trên chuỗi dài nhất được thử. Transformer học được các mức dễ nhưng suy giảm trên chuỗi dài và không bao giờ học được mức general finite. Ở mức khó nhất, biến thể Gated DeltaNet có cập nhật bộ nhớ linh hoạt hơn đi xa nhất, gần như hoàn hảo tới khoảng 10 lần độ dài chuỗi dài nhất trong huấn luyện.

Với Gated DeltaNet và hybrid, khoảng cách nằm ở khâu huấn luyện chứ không phải kiến trúc, vì khi được huấn luyện trực tiếp chúng học được các mức mà bản huấn luyện sẵn không làm được. Transformer thì khác: dù huấn luyện trực tiếp vẫn không học nổi mức khó nhất.

Câu hỏi mở và phát hành

Một số câu hỏi vẫn để ngỏ. Chứng minh mới cho thấy Gated DeltaNet với cập nhật bộ nhớ hạn chế hơn (trị riêng không âm) giải được mọi bài aperiodic và một số bài tuần hoàn nhất định trong điều kiện số học độ chính xác cố định có làm tròn, nhưng vị trí chính xác của nó trong hệ thống phân cấp vẫn chưa rõ, gồm cả việc liệu nó giải được mọi bài soluble và độ chính xác số hay việc kết hợp với lớp attention ảnh hưởng thế nào. StateBench cũng giả định số biến cố định, trong khi bài toán thực tế thường xuất hiện thực thể mới theo thời gian, chẳng hạn người và vật mới trong một cuộc hội thoại dài, và khuôn khổ hiện tại chưa bao phủ tình huống này.

Nhóm nghiên cứu kỳ vọng StateBench giúp giới nghiên cứu xác định chính xác hơn điểm mà mô hình suy giảm, từ đó xây dựng dữ liệu huấn luyện và đánh giá cho các năng lực còn thiếu, đồng thời định hướng phát triển kiến trúc mới có khả năng theo dõi trạng thái vững vàng hơn.

Nguồn: Hugging Face Blog