목록으로
📄논문

Generative and Malleable User Interfaces with Generative AI

Cao Y. et al.
2025-03

소개

사용자 작업에 따라 AI가 ‘생성형이며 유연하게 바꿀 수 있는 사용자 인터페이스’를 만들도록 제안하는 CHI 2025 논문입니다. 저자들은 LLM이 사용자 프롬프트를 분석하여 UI 명세를 생성하고 이를 구체적인 인터페이스로 매핑하는 작업 중심 데이터 모델을 설계했습니다. 실험에서는 이 방법이 폼과 시각화 같은 인터페이스 요소를 동적으로 생성하고, 사용자가 자연어로 인터페이스를 수정하도록 지원할 수 있음을 보여줍니다.

요약

작업 중심 UI 생성 접근법:

1. 핵심 개념: 사용자가 자연어로 형태를 바꿀 수 있는 유연한 인터페이스입니다
2. 데이터 모델: LLM이 사용자 의도를 해석하고 UI 명세를 생성하는 작업 중심 아키텍처입니다
3. 동적 요소: 폼, 시각화, 상호작용형 컴포넌트 생성을 지원합니다
4. 자연어 수정: 사용자가 대화형 명령으로 인터페이스를 반복해서 개선할 수 있습니다
5. 명세 매핑: 추상적인 UI 명세를 구체적인 인터페이스 구현에 매핑합니다

핵심 혁신: 작업 중심 프롬프트를 통해 사용자 의도와 인터페이스 구현 사이의 간극을 줄입니다

태그

chi-2025malleable-uitask-drivenllm

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다