목록으로
📄논문

Automating HCI Principles: Skills for On-Demand UI Construction

Conklin N. et al.
2026-10

소개

에이전트가 작업별 인터페이스를 생성할 때 따를 수 있는 기계 판독형 스킬을 제안하는 포지션 논문입니다. 공유 Human-AI 작업 공간은 대화, 작업 분해, UI 상태를 연결하며, 확인 가능한 스킬 파일에는 사용성 휴리스틱, 접근성 기준, 인지 부하 지침, 혼합 주도형 상호작용 원칙을 담습니다.

요약

이 논문이 새롭게 보여주는 점:

1. 구체적인 지식 패키징: 생성 절차와 검증 기준을 담고 버전 관리할 수 있는 스킬 파일을 제안합니다
2. 공유 작업 맥락: 대화와 UI 상태를 연결하여 생성된 컨트롤이 변화하는 사용자 목표를 따르도록 합니다
3. 생성 중 적용하는 HCI 제약: 어포던스, 접근성, 점진적 공개, 직접 조작을 절차적 지침으로 적용합니다
4. 연구 범위의 한계: 아키텍처와 연구 의제를 제시하는 단계이며, 스킬 라이브러리와 실증 검증은 향후 과제로 남아 있습니다

태그

generative-uihci-skillson-demand-uiaccessibilitymixed-initiative

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다