소개
사용자 요구사항이 바뀌는 동안 LLM 어시스턴트가 실행 가능한 하나의 웹 인터페이스를 유지할 수 있는지 평가하는 2026년 8월 벤치마크입니다. EvoGenUI-Bench는 정보 제시, 상태 유지형 상호작용, 도구에 근거한 외부 상태에 걸쳐 5턴으로 구성된 작업 150개를 포함합니다. 스크린샷, DOM과 소스 근거, 행위자 실행 기록, 런타임 로그를 활용하여 브라우저 기반 평가를 수행합니다.
요약
EvoGenUI-Bench가 새롭게 보여주는 점:
1. 인터페이스의 변화 평가: 개별 페이지를 따로 생성하는 대신 하나의 결과물에 누적되는 수정을 평가합니다
2. 요구사항 유지 측정: 올바른 인터페이스가 다음 요청 후에도 올바른 상태를 유지하는지 보여주는 Adjacent Pass Retention을 도입합니다
3. 모든 결과물 실행: 브라우저 동작, 렌더링 결과, 소스, DOM, 실행 기록, 로그, 외부 상태 재조회에 근거하여 점수를 매깁니다
4. 신뢰성 격차 확인: 가장 강력한 모델은 턴 단위 성공률 74.9%를 달성하지만, 5턴 에피소드의 완료율은 37.3%에 그칩니다
5. 구체적인 실패 진단: 정보 구조, 파생 상태, 어포던스 바인딩, 외부 근거 연결, 요구사항 분해에서 발생하는 문제를 구분합니다
1. 인터페이스의 변화 평가: 개별 페이지를 따로 생성하는 대신 하나의 결과물에 누적되는 수정을 평가합니다
2. 요구사항 유지 측정: 올바른 인터페이스가 다음 요청 후에도 올바른 상태를 유지하는지 보여주는 Adjacent Pass Retention을 도입합니다
3. 모든 결과물 실행: 브라우저 동작, 렌더링 결과, 소스, DOM, 실행 기록, 로그, 외부 상태 재조회에 근거하여 점수를 매깁니다
4. 신뢰성 격차 확인: 가장 강력한 모델은 턴 단위 성공률 74.9%를 달성하지만, 5턴 에피소드의 완료율은 37.3%에 그칩니다
5. 구체적인 실패 진단: 정보 구조, 파생 상태, 어포던스 바인딩, 외부 근거 연결, 요구사항 분해에서 발생하는 문제를 구분합니다
태그
generative-uimulti-turnbenchmarkstate-managementbrowser-evaluation