목록으로
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Kim S. G. and Kim H.
2026-10-22

소개

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

요약

ABRA가 새롭게 보여주는 점:

1. 재사용 가능한 상호작용 어휘: 명시적인 작업 바인딩을 통해 각 동작의 의미를 작업에 맞게 조정합니다
2. 공유되는 의미: 다른 에이전트가 공개된 동작을 확인하고 호출할 수 있으며, 로컬 뷰의 효과와 소유 에이전트에서 발생하는 결과는 별도 경로로 처리합니다
3. 참조 구현: React 뷰, Node.js 캔버스 허브, Python 어댑터로 사람과 에이전트가 함께 사용하는 작업 공간을 지원합니다
4. 평가 범위의 한계: 4개 모델을 분리된 단일 턴 작업으로 평가했으며, 정확한 뷰 선택률은 33–53%에 그칩니다. 사용자의 이해도와 전체 작업 수행에 대한 이점은 검증하지 않았습니다

[공식 프로토타입, 설정 안내 및 데모](https://github.com/megagonlabs/abra).

태그

generative-uishared-canvasesinteraction-semanticsdirect-manipulationmulti-agent

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

Inflak: A Unified Orchestration Architecture for Human-Agent Interaction

런타임의 사람·에이전트 상호작용을 라우팅, 계획, 디자인, 렌더링으로 분리하는 2026년 10월 논문입니다. Inflak은 각 계층을 조합 가능한 에이전트 스킬로 구현하여, 작업 상태에 따라 입력을 요청할 시점과 표시할 생성형 인터페이스를 결정합니다.

generative-uiinteraction-orchestrationagent-skills
작성자 Gao L. et al. · 2026-10-15
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다