Giới thiệu
Bộ đánh giá vào tháng 8 năm 2026 dùng các chú giải tất định thay cho nhãn do con người gán có nhiều nhiễu để đánh giá giao diện do LLM tạo ra. SchemaGUI tổng hợp chỉ dẫn song ngữ và các lời gọi hàm tham chiếu từ lược đồ UI được tham số hóa, sau đó đo tính khả thi, hình học và độ phức tạp bố cục trên sáu kịch bản và năm mô hình.
Tóm tắt
Điểm mới đáng chú ý của SchemaGUI:
1. Đánh giá tất định: Tạo chính xác các lời gọi hàm tham chiếu từ lược đồ giao diện thay vì dựa vào nhãn ảnh chụp màn hình mang tính chủ quan
2. Bao phủ song ngữ: Đánh giá 1,000 trường hợp cho mỗi kịch bản và ngôn ngữ trên sáu tác vụ GUI tiêu biểu bằng tiếng Anh và tiếng Trung
3. Tách biệt các chiều năng lực: Chấm điểm tính khả thi của lược đồ, khả năng kiểm soát hình học và chất lượng GUI tổng thể thay vì gộp thành một thước đo thị giác
4. Chỉ ra điểm nghẽn về không gian: Cho thấy việc tăng quy mô mô hình cải thiện cấu trúc hợp lệ nhanh hơn độ chính xác tọa độ, đặc biệt trong lưới dày đặc và bố cục nhiều vùng
5. Phát hiện hữu ích về suy luận: Báo cáo rằng chế độ suy nghĩ tiêu thụ nhiều token hơn nhưng nhìn chung làm giảm điểm GUI, đặc biệt với các mô hình nhỏ hơn
1. Đánh giá tất định: Tạo chính xác các lời gọi hàm tham chiếu từ lược đồ giao diện thay vì dựa vào nhãn ảnh chụp màn hình mang tính chủ quan
2. Bao phủ song ngữ: Đánh giá 1,000 trường hợp cho mỗi kịch bản và ngôn ngữ trên sáu tác vụ GUI tiêu biểu bằng tiếng Anh và tiếng Trung
3. Tách biệt các chiều năng lực: Chấm điểm tính khả thi của lược đồ, khả năng kiểm soát hình học và chất lượng GUI tổng thể thay vì gộp thành một thước đo thị giác
4. Chỉ ra điểm nghẽn về không gian: Cho thấy việc tăng quy mô mô hình cải thiện cấu trúc hợp lệ nhanh hơn độ chính xác tọa độ, đặc biệt trong lưới dày đặc và bố cục nhiều vùng
5. Phát hiện hữu ích về suy luận: Báo cáo rằng chế độ suy nghĩ tiêu thụ nhiều token hơn nhưng nhìn chung làm giảm điểm GUI, đặc biệt với các mô hình nhỏ hơn
Thẻ
ui-generationbenchmarkschema-drivenspatial-reasoningbilingual