Giới thiệu
Bộ đánh giá vào tháng 8 năm 2026 kiểm thử liệu trợ lý LLM có thể duy trì một giao diện web có thể thực thi khi yêu cầu của người dùng thay đổi hay không. EvoGenUI-Bench gồm 150 tác vụ năm lượt thuộc các nhóm trình bày thông tin, tương tác có trạng thái và trạng thái bên ngoài được xác thực bằng công cụ, với đánh giá trên trình duyệt dựa vào ảnh chụp màn hình, bằng chứng từ DOM và mã nguồn, dấu vết hoạt động của tác nhân cùng nhật ký khi ứng dụng đang chạy.
Tóm tắt
Điểm mới đáng chú ý của EvoGenUI-Bench:
1. Đánh giá quá trình phát triển giao diện: Kiểm thử các lần sửa đổi tích lũy trên cùng một sản phẩm thay vì tạo trang riêng lẻ
2. Đo khả năng duy trì việc đáp ứng yêu cầu: Giới thiệu Adjacent Pass Retention để cho biết liệu một giao diện đúng có tiếp tục đúng sau yêu cầu kế tiếp hay không
3. Thực thi mọi sản phẩm: Lấy hành vi trình duyệt, đầu ra đã kết xuất, mã nguồn, DOM, dấu vết, nhật ký và kết quả đọc lại trạng thái bên ngoài làm căn cứ chấm điểm
4. Phơi bày khoảng cách về độ tin cậy: Mô hình mạnh nhất đạt tỷ lệ thành công theo lượt 74.9% nhưng chỉ hoàn thành 37.3% chuỗi năm lượt
5. Chẩn đoán các lỗi cụ thể: Phân biệt lỗi về kiến trúc thông tin, trạng thái suy ra, liên kết khả năng thao tác, xác thực bằng dữ liệu bên ngoài và phân rã yêu cầu
1. Đánh giá quá trình phát triển giao diện: Kiểm thử các lần sửa đổi tích lũy trên cùng một sản phẩm thay vì tạo trang riêng lẻ
2. Đo khả năng duy trì việc đáp ứng yêu cầu: Giới thiệu Adjacent Pass Retention để cho biết liệu một giao diện đúng có tiếp tục đúng sau yêu cầu kế tiếp hay không
3. Thực thi mọi sản phẩm: Lấy hành vi trình duyệt, đầu ra đã kết xuất, mã nguồn, DOM, dấu vết, nhật ký và kết quả đọc lại trạng thái bên ngoài làm căn cứ chấm điểm
4. Phơi bày khoảng cách về độ tin cậy: Mô hình mạnh nhất đạt tỷ lệ thành công theo lượt 74.9% nhưng chỉ hoàn thành 37.3% chuỗi năm lượt
5. Chẩn đoán các lỗi cụ thể: Phân biệt lỗi về kiến trúc thông tin, trạng thái suy ra, liên kết khả năng thao tác, xác thực bằng dữ liệu bên ngoài và phân rã yêu cầu
Thẻ
generative-uimulti-turnbenchmarkstate-managementbrowser-evaluation