소개
커버리지 기반 브라우저 탐색으로 실행 가능한 LLM 생성 웹 애플리케이션을 평가하는 2026년 벤치마크입니다. IWC-Bench는 각 앱에 계측 코드를 삽입하고 상호작용 기록을 상태 전이 그래프로 변환합니다. 실제 요구사항 369개와 수용 기준 5,088개를 바탕으로 시각적 심미성, 사용성, 요구사항 정합성에 점수를 매깁니다.
요약
IWC-Bench가 새롭게 보여주는 점:
1. 런타임 근거: 실제로 사용할 수 없을지도 모르는 소스 코드에 점수를 주는 대신, 실제 브라우저 상호작용으로 도달한 동작을 평가합니다
2. 커버리지 기반 탐색: 계측된 코드 커버리지를 활용하여 에이전트가 구현된 상태와 기능을 더 많이 발견하도록 돕습니다
3. 상태 전이 추상화: 생성된 애플리케이션에 점수를 매기기 전에 상호작용 기록을 구조화된 그래프로 변환합니다
4. 분리된 품질 차원: 시각적 심미성, 사용성, 요구사항 정합성을 하나의 점수로 합치지 않고 각각 측정합니다
5. 사람의 판단과의 일치 근거: 검증된 아레나 세션 197건에서 사람의 선호와 쌍대 비교 기준 85.3%의 일치율을 달성합니다
1. 런타임 근거: 실제로 사용할 수 없을지도 모르는 소스 코드에 점수를 주는 대신, 실제 브라우저 상호작용으로 도달한 동작을 평가합니다
2. 커버리지 기반 탐색: 계측된 코드 커버리지를 활용하여 에이전트가 구현된 상태와 기능을 더 많이 발견하도록 돕습니다
3. 상태 전이 추상화: 생성된 애플리케이션에 점수를 매기기 전에 상호작용 기록을 구조화된 그래프로 변환합니다
4. 분리된 품질 차원: 시각적 심미성, 사용성, 요구사항 정합성을 하나의 점수로 합치지 않고 각각 측정합니다
5. 사람의 판단과의 일치 근거: 검증된 아레나 세션 197건에서 사람의 선호와 쌍대 비교 기준 85.3%의 일치율을 달성합니다
태그
ui-generationinteractive-evaluationcode-coveragebrowser-agentsbenchmark