Giới thiệu
Nghiên cứu có tác giả thuộc Apple về việc đánh giá liệu giao diện được tạo có hỗ trợ những hành trình người dùng thực tế hay không. FlowEval chạy các tác vụ đã được xác thực trên website tham chiếu và các phiên bản tương ứng được tạo ra, so sánh dấu vết điều hướng bằng các thước đo độ tương đồng dựa trên tham chiếu, rồi kiểm thử mức độ phù hợp giữa các điểm số đó và nhận định UI của chuyên gia.
Tóm tắt
Điểm mới đáng chú ý của FlowEval:
1. Ưu tiên tương tác trong đánh giá: Đo toàn bộ luồng tác vụ thay vì chỉ dựa vào ảnh chụp màn hình hay độ chính xác của mã nguồn
2. Tham chiếu đáng tin cậy: So sánh các website được tạo với dấu vết thu thập từ những giao diện chất lượng cao đã được biết đến
3. Phương pháp có thể tự động hóa: Dùng AI agent sử dụng máy tính và các tác vụ điều hướng để thu thập những chuỗi tương tác có thể so sánh
4. Chẩn đoán có thể diễn giải: Độ tương đồng của dấu vết có thể cho thấy nơi luồng được tạo khác với trải nghiệm tham chiếu
5. Bằng chứng về mức độ phù hợp với đánh giá của con người: Báo cáo tương quan mạnh giữa các thước đo dựa trên tham chiếu và đánh giá của chuyên gia về UI được tạo
1. Ưu tiên tương tác trong đánh giá: Đo toàn bộ luồng tác vụ thay vì chỉ dựa vào ảnh chụp màn hình hay độ chính xác của mã nguồn
2. Tham chiếu đáng tin cậy: So sánh các website được tạo với dấu vết thu thập từ những giao diện chất lượng cao đã được biết đến
3. Phương pháp có thể tự động hóa: Dùng AI agent sử dụng máy tính và các tác vụ điều hướng để thu thập những chuỗi tương tác có thể so sánh
4. Chẩn đoán có thể diễn giải: Độ tương đồng của dấu vết có thể cho thấy nơi luồng được tạo khác với trải nghiệm tham chiếu
5. Bằng chứng về mức độ phù hợp với đánh giá của con người: Báo cáo tương quan mạnh giữa các thước đo dựa trên tham chiếu và đánh giá của chuyên gia về UI được tạo
Thẻ
ui-evaluationinteraction-flowscomputer-use-agentsbenchmarkhuman-evaluation