목록으로
📄논문

MV-Bench: Benchmarking MLLMs for Coordinated Multi-View Interface Construction

Zhao Y. et al.
2026-07

소개

멀티모달 언어 모델이 시각적 디자인을 바탕으로 실행 가능한 다중 뷰 시각화 인터페이스를 생성할 수 있는지 평가하는 2026년 7월 벤치마크입니다. MV-Bench는 Tableau 워크북을 구조화된 정답으로 활용하며 시각적 충실도, 데이터 바인딩, 연동 상호작용, 코드 실행 가능성을 평가합니다.

요약

MV-Bench가 새롭게 보여주는 점:

1. 단일 화면의 외형을 넘어선 평가: 여러 뷰가 연결되어 연동되는 대시보드를 평가합니다
2. 실행 가능한 벤치마크: 코드, 렌더링된 인터페이스, 데이터셋, 상호작용 주석을 갖춘 검증된 사례 1,048개를 제공합니다
3. 구조화된 정답: Tableau 워크북 92개에서 바인딩과 상호작용을 도출합니다
4. 의미적 평가: 시각적 충실도와 함께 데이터 정확성과 상호작용 완전성을 측정합니다
5. 주요 역량 격차: 평가한 모델 중 가장 강력한 모델도 레이아웃 정확도는 75.45%이지만, 데이터 바인딩 정확도는 21.71%, 상호작용 정확도는 11.68%에 그칩니다

태그

ui-generationmultimodal-modelsdata-visualizationinteractionbenchmark

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다