Giới thiệu
Bài báo vào tháng 7 năm 2026 giới thiệu ESPP, một phương pháp đánh giá thay một bộ chấm điểm LLM bằng một hội đồng gồm các chân dung người dùng được xây dựng dựa trên bằng chứng và đa dạng về đặc điểm tâm lý. Các thành viên chấm điểm độc lập ảnh chụp màn hình giao diện được tạo, trao đổi ý kiến thông qua cơ chế tin cậy có giới hạn, rồi được tổng hợp bằng trọng số xã hội.
Tóm tắt
Điểm mới đáng chú ý của ESPP:
1. Đánh giá đa góc nhìn: Mô hình hóa cách các nhóm người dùng khác nhau nhìn nhận cùng một giao diện được tạo thay vì gộp đánh giá thành một góc nhìn ngầm định duy nhất
2. Bằng chứng về mức độ phù hợp với đánh giá của con người: Cải thiện hệ số tương quan Pearson với điểm đánh giá của con người từ 0.716 lên 0.922
3. So sánh có kiểm soát: Cho thấy việc kết hợp nhiều yêu cầu đầu vào chỉ đạt được khoảng một phần ba mức cải thiện
4. Bất đồng ở cấp độ từng chiều đánh giá: Giữ lại thông tin về những trường hợp các chân dung người dùng đồng ý về thứ hạng nhưng khác biệt về các đặc tính cụ thể của giao diện
5. Bản triển khai có thể tái lập: Phát hành một quy trình chấm điểm ba giai đoạn có thể chạy được, các ảnh chụp màn hình mẫu và những trường hợp đã được xử lý minh họa
1. Đánh giá đa góc nhìn: Mô hình hóa cách các nhóm người dùng khác nhau nhìn nhận cùng một giao diện được tạo thay vì gộp đánh giá thành một góc nhìn ngầm định duy nhất
2. Bằng chứng về mức độ phù hợp với đánh giá của con người: Cải thiện hệ số tương quan Pearson với điểm đánh giá của con người từ 0.716 lên 0.922
3. So sánh có kiểm soát: Cho thấy việc kết hợp nhiều yêu cầu đầu vào chỉ đạt được khoảng một phần ba mức cải thiện
4. Bất đồng ở cấp độ từng chiều đánh giá: Giữ lại thông tin về những trường hợp các chân dung người dùng đồng ý về thứ hạng nhưng khác biệt về các đặc tính cụ thể của giao diện
5. Bản triển khai có thể tái lập: Phát hành một quy trình chấm điểm ba giai đoạn có thể chạy được, các ảnh chụp màn hình mẫu và những trường hợp đã được xử lý minh họa
Thẻ
genuiui-evaluationhuman-preferencesllm-as-a-judgepersonas