목록으로
📄논문

Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control

Li B. et al.
2026-07

소개

모션 그래픽 캔버스에 맥락을 인식하는 컨트롤을 직접 생성하는 LLM 기반 시스템 Spatula를 소개하는 2026년 7월 HCI 논문입니다. 유연한 속성 제어 공간을 통해 점진적인 기능 발견, 다양한 정밀도 수준, 의미 기반 그룹 편집, 필요에 따른 새 컨트롤 생성을 지원합니다.

요약

Spatula가 새롭게 보여주는 점:

1. 작업 위치에 직접 생성되는 컨트롤: 별도의 채팅이나 사이드 패널 대신 창작 캔버스에 맥락별 위젯과 직접 조작을 위한 어포던스를 배치합니다
2. 유연한 제어 공간: 발견 가능성, 정밀도, 범위, 확장성을 중심으로 인터페이스 생성을 구성합니다
3. 세밀한 조정: 고수준 프롬프트와 생성 콘텐츠에 대한 예측 가능한 매개변수 단위 편집을 연결합니다
4. 연구로 뒷받침된 디자인: 12명의 참여자가 4가지 상호작용 조건을 비교한 사용자 연구를 보고합니다
5. 더 넓은 적용 가능성: 플러그 앤드 플레이 방식이 모션 그래픽에서 웹 디자인과 3D 모델링으로 확장될 수 있음을 보여줍니다

태그

on-demand-uicreative-toolsdirect-manipulationuser-study

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다