Tag: Transformer

StateBench: Đánh giá khả năng theo dõi thay đổi trạng thái của mô hình ngôn ngữ trong tài liệu dài

Nhóm nghiên cứu giới thiệu StateBench, bộ đánh giá bốn mức độ về khả năng theo dõi trạng thái thực thể trong ngữ cảnh dài, cho thấy mô hình hồi quy và hybrid tổng quát hóa tốt hơn transformer còn các mô hình tiên tiến vẫn suy giảm ở mức khó.