Giới thiệu
Bộ đánh giá năm 2026 dùng việc khám phá trình duyệt được dẫn hướng bởi độ bao phủ để đánh giá ứng dụng web do LLM tạo ra và có thể chạy được. IWC-Bench gắn cơ chế đo lường vào từng ứng dụng, chuyển dấu vết tương tác thành đồ thị chuyển trạng thái và chấm điểm tính thẩm mỹ thị giác, tính dễ sử dụng cùng mức độ đáp ứng yêu cầu trên 369 yêu cầu thực tế và 5,088 tiêu chí nghiệm thu.
Tóm tắt
Điểm mới đáng chú ý của IWC-Bench:
1. Bằng chứng khi ứng dụng đang chạy: Đánh giá hành vi đạt tới thông qua tương tác thực trên trình duyệt thay vì ghi nhận mã nguồn có thể không dùng được
2. Khám phá được dẫn hướng bởi độ bao phủ: Dùng độ bao phủ mã được đo bằng công cụ để giúp AI agent khám phá thêm các trạng thái và tính năng đã được triển khai
3. Trừu tượng hóa chuyển trạng thái: Chuyển dấu vết tương tác thành một đồ thị có cấu trúc trước khi chấm điểm ứng dụng được tạo
4. Các chiều chất lượng riêng biệt: Đo tính thẩm mỹ thị giác, tính dễ sử dụng và mức độ đáp ứng yêu cầu thay vì gộp chúng thành một điểm số
5. Bằng chứng về mức độ phù hợp với đánh giá của con người: Đạt tỷ lệ đồng thuận theo cặp 85.3% với sở thích của con người trên 197 phiên so sánh đối đầu đã được xác thực
1. Bằng chứng khi ứng dụng đang chạy: Đánh giá hành vi đạt tới thông qua tương tác thực trên trình duyệt thay vì ghi nhận mã nguồn có thể không dùng được
2. Khám phá được dẫn hướng bởi độ bao phủ: Dùng độ bao phủ mã được đo bằng công cụ để giúp AI agent khám phá thêm các trạng thái và tính năng đã được triển khai
3. Trừu tượng hóa chuyển trạng thái: Chuyển dấu vết tương tác thành một đồ thị có cấu trúc trước khi chấm điểm ứng dụng được tạo
4. Các chiều chất lượng riêng biệt: Đo tính thẩm mỹ thị giác, tính dễ sử dụng và mức độ đáp ứng yêu cầu thay vì gộp chúng thành một điểm số
5. Bằng chứng về mức độ phù hợp với đánh giá của con người: Đạt tỷ lệ đồng thuận theo cặp 85.3% với sở thích của con người trên 197 phiên so sánh đối đầu đã được xác thực
Thẻ
ui-generationinteractive-evaluationcode-coveragebrowser-agentsbenchmark