소개
잡음이 있는 사람의 레이블 대신 결정론적 주석으로 LLM 생성 인터페이스를 평가하는 2026년 8월 벤치마크입니다. SchemaGUI는 매개변수화된 UI 스키마에서 2개 언어의 지시문과 함수 호출 정답을 합성한 뒤, 6개 시나리오와 5개 모델에서 실행 가능성, 기하학적 특성, 레이아웃 복잡도를 측정합니다.
요약
SchemaGUI가 새롭게 보여주는 점:
1. 결정론적 평가: 주관적인 스크린샷 레이블에 의존하지 않고 인터페이스 스키마에서 정확한 함수 호출 정답을 생성합니다
2. 2개 언어 지원: 영어와 중국어의 대표적인 GUI 작업 6가지를 대상으로 시나리오·언어별 1,000개 사례를 평가합니다
3. 역량 차원 분리: 스키마 실행 가능성, 기하학적 제어, 전체 GUI 품질을 하나의 시각적 지표로 합치지 않고 각각 점수화합니다
4. 공간적 병목 확인: 모델 크기 증가가 정확한 좌표보다 유효한 구조를 더 빠르게 개선하며, 특히 밀집 그리드와 여러 영역으로 구성된 레이아웃에서 이러한 차이가 나타납니다
5. 유용한 추론 결과: 사고 모드는 더 많은 토큰을 사용하면서도 대체로 GUI 점수를 낮추며, 특히 소형 모델에서 이러한 경향이 두드러진다고 보고합니다
1. 결정론적 평가: 주관적인 스크린샷 레이블에 의존하지 않고 인터페이스 스키마에서 정확한 함수 호출 정답을 생성합니다
2. 2개 언어 지원: 영어와 중국어의 대표적인 GUI 작업 6가지를 대상으로 시나리오·언어별 1,000개 사례를 평가합니다
3. 역량 차원 분리: 스키마 실행 가능성, 기하학적 제어, 전체 GUI 품질을 하나의 시각적 지표로 합치지 않고 각각 점수화합니다
4. 공간적 병목 확인: 모델 크기 증가가 정확한 좌표보다 유효한 구조를 더 빠르게 개선하며, 특히 밀집 그리드와 여러 영역으로 구성된 레이아웃에서 이러한 차이가 나타납니다
5. 유용한 추론 결과: 사고 모드는 더 많은 토큰을 사용하면서도 대체로 GUI 점수를 낮추며, 특히 소형 모델에서 이러한 경향이 두드러진다고 보고합니다
태그
ui-generationbenchmarkschema-drivenspatial-reasoningbilingual