소개
생성된 인터페이스가 실제적인 사용자 여정을 지원하는지 평가하는 Apple 연구진이 참여한 연구입니다. FlowEval은 참조 웹사이트와 그에 대응하는 생성 사이트에서 검증된 작업을 실행합니다. 참조 기반 유사도 지표로 탐색 기록을 비교하고, 해당 점수가 전문가의 UI 판단과 얼마나 잘 일치하는지 평가합니다.
요약
FlowEval이 새롭게 보여주는 점:
1. 상호작용 중심 평가: 스크린샷이나 코드 정확성에만 의존하지 않고 전체 작업 흐름을 측정합니다
2. 신뢰할 수 있는 참조: 품질이 검증된 인터페이스에서 수집한 기록과 생성 사이트를 비교합니다
3. 자동화 가능한 방법: 컴퓨터 사용 에이전트와 탐색 작업으로 비교 가능한 상호작용 시퀀스를 수집합니다
4. 해석 가능한 진단: 기록의 유사도를 통해 생성된 흐름이 참조 경험에서 벗어나는 지점을 확인할 수 있습니다
5. 사람의 판단과의 일치 근거: 참조 기반 지표와 생성 UI에 대한 전문가 평가 사이에 높은 상관관계가 있다고 보고합니다
1. 상호작용 중심 평가: 스크린샷이나 코드 정확성에만 의존하지 않고 전체 작업 흐름을 측정합니다
2. 신뢰할 수 있는 참조: 품질이 검증된 인터페이스에서 수집한 기록과 생성 사이트를 비교합니다
3. 자동화 가능한 방법: 컴퓨터 사용 에이전트와 탐색 작업으로 비교 가능한 상호작용 시퀀스를 수집합니다
4. 해석 가능한 진단: 기록의 유사도를 통해 생성된 흐름이 참조 경험에서 벗어나는 지점을 확인할 수 있습니다
5. 사람의 판단과의 일치 근거: 참조 기반 지표와 생성 UI에 대한 전문가 평가 사이에 높은 상관관계가 있다고 보고합니다
태그
ui-evaluationinteraction-flowscomputer-use-agentsbenchmarkhuman-evaluation