소개
단일 LLM 평가자를 근거 기반의 심리적으로 다양한 페르소나 패널로 대체하는 평가 방법 ESPP를 소개하는 2026년 7월 논문입니다. 각 패널 구성원은 생성된 인터페이스의 스크린샷을 독립적으로 평가하고 제한된 신뢰 메커니즘을 통해 의견을 교환하며, 최종 결과에는 사회적 가중치를 적용합니다.
요약
ESPP가 새롭게 보여주는 점:
1. 다원적 평가: 판단을 하나의 암묵적 관점으로 합치지 않고 서로 다른 사용자 집단이 동일한 생성 인터페이스를 어떻게 인식하는지 모델링합니다
2. 사람의 판단과의 일치 근거: 사람의 평가 점수와의 Pearson 상관계수를 0.716에서 0.922로 높입니다
3. 통제된 비교: 프롬프트 앙상블만으로는 개선 폭의 약 3분의 1만 확보할 수 있음을 보여줍니다
4. 차원별 의견 차이: 페르소나들이 순위에는 동의하면서도 특정 인터페이스 품질에서는 다르게 판단하는 지점을 보존합니다
5. 재현 가능한 구현: 실행 가능한 3단계 점수 산정 파이프라인, 샘플 스크린샷, 구체적인 적용 사례를 공개합니다
1. 다원적 평가: 판단을 하나의 암묵적 관점으로 합치지 않고 서로 다른 사용자 집단이 동일한 생성 인터페이스를 어떻게 인식하는지 모델링합니다
2. 사람의 판단과의 일치 근거: 사람의 평가 점수와의 Pearson 상관계수를 0.716에서 0.922로 높입니다
3. 통제된 비교: 프롬프트 앙상블만으로는 개선 폭의 약 3분의 1만 확보할 수 있음을 보여줍니다
4. 차원별 의견 차이: 페르소나들이 순위에는 동의하면서도 특정 인터페이스 품질에서는 다르게 판단하는 지점을 보존합니다
5. 재현 가능한 구현: 실행 가능한 3단계 점수 산정 파이프라인, 샘플 스크린샷, 구체적인 적용 사례를 공개합니다
태그
genuiui-evaluationhuman-preferencesllm-as-a-judgepersonas