Giới thiệu
Bài báo vào tháng 10 năm 2026 kết hợp việc thực thi công cụ cơ sở dữ liệu với việc tạo giao diện frontend dành riêng cho tác vụ. GenUI-Harness bổ sung các chuỗi tương tác thử trong môi trường sandbox và việc kiểm tra phần thưởng, trong khi UI-TAU Bench kiểm thử liệu các giao diện được tạo có giúp AI agent thu thập đầu vào và hoàn thành tác vụ dựa trên cơ sở dữ liệu trong mười lĩnh vực hay không.
Tóm tắt
Điểm mới đáng chú ý của GenUI-Harness:
1. Vòng lặp tương tác dựa trên dữ liệu thực: Tách việc truy xuất và thực thi khỏi các thành phần điều khiển được tạo để làm rõ yêu cầu và thu thập đầu vào có cấu trúc
2. Đánh giá có thể thực thi: UI-TAU Bench cung cấp tập Lite gồm 300 tác vụ và tập Full gồm 1,000 tác vụ; các phép so sánh chính được báo cáo sử dụng Lite
3. Bằng chứng về huấn luyện và tương tác: Một mô hình 4B đã qua huấn luyện đạt 58% Pass@3; một nghiên cứu với người đánh giá trên 100 tác vụ được chọn ghi nhận số vòng đối thoại giảm từ 3.4 xuống 1.2
4. Giới hạn đánh giá: Bộ mô phỏng người dùng trình duyệt có thể xem mã nguồn và mục tiêu tham chiếu, còn phép so sánh với người đánh giá chỉ chọn các giao diện có thể sử dụng ổn định; kết quả không chứng minh khả năng sử dụng nói chung
1. Vòng lặp tương tác dựa trên dữ liệu thực: Tách việc truy xuất và thực thi khỏi các thành phần điều khiển được tạo để làm rõ yêu cầu và thu thập đầu vào có cấu trúc
2. Đánh giá có thể thực thi: UI-TAU Bench cung cấp tập Lite gồm 300 tác vụ và tập Full gồm 1,000 tác vụ; các phép so sánh chính được báo cáo sử dụng Lite
3. Bằng chứng về huấn luyện và tương tác: Một mô hình 4B đã qua huấn luyện đạt 58% Pass@3; một nghiên cứu với người đánh giá trên 100 tác vụ được chọn ghi nhận số vòng đối thoại giảm từ 3.4 xuống 1.2
4. Giới hạn đánh giá: Bộ mô phỏng người dùng trình duyệt có thể xem mã nguồn và mục tiêu tham chiếu, còn phép so sánh với người đánh giá chỉ chọn các giao diện có thể sử dụng ổn định; kết quả không chứng minh khả năng sử dụng nói chung
Thẻ
generative-uidata-grounded-uiui-tau-benchreinforcement-learninginteractive-agents