목록으로
📄논문

LEGOUI: Designing with UI-DSL Bricks for Transparent, Controllable Generation

Zhou Y. et al.
2026-08

소개

초기 디자인 아이디어 구상을 위한 단계형 Generative UI 프레임워크를 소개하는 2026년 8월 HCI 논문입니다. LEGOUI는 프롬프트에서 도출하거나 모델이 추론한 결정을 출처를 추적할 수 있는 UI DSL에 기록합니다. 사용자는 레이아웃, 상호작용, 관계, 스타일 단계에서 결정을 수용·거부·추가할 수 있으며, 시스템은 갱신되는 명세를 바탕으로 렌더링합니다.

요약

LEGOUI가 새롭게 보여주는 점:

1. 확인 가능한 중간 상태: 디자인 가정이 생성된 인터페이스에 반영되기 전에 사용자에게 드러냅니다
2. 결정 단위의 통제: 전체 프롬프트를 반복해서 다시 쓰는 대신 UI-DSL 항목을 수용·거부·추가할 수 있도록 합니다
3. 지속적인 출처 추적: 각 결정이 프롬프트, 모델 추론, 사용자 수정 중 어디에서 비롯되었는지 추적합니다
4. 연구 근거가 있는 워크플로: 실제 프롬프트 40개로 요구사항 추출을 평가하고, 15명이 참여한 연구에서 시스템을 한 번에 결과를 생성하는 도구와 비교합니다
5. 명시적인 절충 관계: 투명성, 통제력, 의도 정합성이 개선되었다고 보고하면서도 단계별 결정을 확인하는 데 추가 비용이 든다는 점을 인정합니다

태그

genuiui-dsldesign-timehuman-in-the-loopprovenance

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다