소개
LLM이 생성한 인터페이스의 독창성, 제품 도메인 간 변화, 요구사항 충족도를 평가하는 Kombai의 2026년 10월 논문입니다. 15개 모델이 160개 프롬프트에서 생성한 2,400개 HTML 디자인을 사람이 만든 참조 디자인과 비교하여, 수용 가능한 결과와 다양한 디자인을 구분합니다.
요약
이 벤치마크가 새롭게 보여주는 점:
1. 분리된 창의성 지표: 모델 간 독창성, 짝지어진 디자인 과제 전반의 창의적 범위, 수용 기준 충족 범위를 구분합니다
2. 구조적 비교: 렌더링된 UI 영역과 별도의 색상 점수를 결합하여 디자인 반복을 측정합니다
3. 관찰된 다양성 격차: 모델은 평균적으로 기준의 90% 이상을 충족하지만, 디자인 과제 간 변화는 사람이 만든 참조 디자인보다 적습니다
4. 평가 범위의 한계: 기본 샘플링을 사용하고 다양성을 유도하는 프롬프트 없이 데스크톱 HTML을 평가합니다. 사람 디자이너는 공개된 영감용 레퍼런스를 응용합니다
1. 분리된 창의성 지표: 모델 간 독창성, 짝지어진 디자인 과제 전반의 창의적 범위, 수용 기준 충족 범위를 구분합니다
2. 구조적 비교: 렌더링된 UI 영역과 별도의 색상 점수를 결합하여 디자인 반복을 측정합니다
3. 관찰된 다양성 격차: 모델은 평균적으로 기준의 90% 이상을 충족하지만, 디자인 과제 간 변화는 사람이 만든 참조 디자인보다 적습니다
4. 평가 범위의 한계: 기본 샘플링을 사용하고 다양성을 유도하는 프롬프트 없이 데스크톱 HTML을 평가합니다. 사람 디자이너는 공개된 영감용 레퍼런스를 응용합니다
태그
ui-generationdesign-diversitycreativity-evaluationhuman-baselinebenchmark