ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality
November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.
Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI
November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.
ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views
재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.
Inflak: A Unified Orchestration Architecture for Human-Agent Interaction
런타임의 사람·에이전트 상호작용을 라우팅, 계획, 디자인, 렌더링으로 분리하는 2026년 10월 논문입니다. Inflak은 각 계층을 조합 가능한 에이전트 스킬로 구현하여, 작업 상태에 따라 입력을 요청할 시점과 표시할 생성형 인터페이스를 결정합니다.
Atelier: From Semantic Editing Intentions to Persistent Parametric Controls for AI-Assisted Image Editing
이미지 편집을 위한 적응형 컨트롤을 다루는 2026년 10월 HCI 논문입니다. Atelier는 이미지 맥락과 사용자의 편집 의도를 결합하여 계속 사용할 수 있는 조절형 위젯을 구성합니다. 완성된 이미지만 반환하는 대신 제안한 매개변수를 드러내 사용자가 세밀하게 조정할 수 있도록 합니다.
AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
생성한 참조 이미지를 활용하여 대시보드, 웹페이지, 슬라이드, 포스터용 편집 가능한 HTML/CSS 생성을 유도하는 2026년 10월 논문입니다. AesCode는 콘텐츠의 기준을 프롬프트에 두고 디자인을 그래프로 표현하며, 프로그램 기반 검증과 시각적 보상을 분리하여 학습합니다.
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
데이터베이스 도구 실행과 작업별 프론트엔드 생성을 결합하는 2026년 10월 논문입니다. GenUI-Harness는 샌드박스 환경의 상호작용 롤아웃과 보상 감사를 추가합니다. UI-TAU Bench는 10개 도메인에서 생성된 인터페이스가 에이전트의 입력 수집과 데이터베이스 기반 작업 완료에 도움이 되는지 평가합니다.
Design Creativity Bench: Measuring creativity in LLM-Generated UI
LLM이 생성한 인터페이스의 독창성, 제품 도메인 간 변화, 요구사항 충족도를 평가하는 Kombai의 2026년 10월 논문입니다. 15개 모델이 160개 프롬프트에서 생성한 2,400개 HTML 디자인을 사람이 만든 참조 디자인과 비교하여, 수용 가능한 결과와 다양한 디자인을 구분합니다.
Automating HCI Principles: Skills for On-Demand UI Construction
에이전트가 작업별 인터페이스를 생성할 때 따를 수 있는 기계 판독형 스킬을 제안하는 포지션 논문입니다. 공유 Human-AI 작업 공간은 대화, 작업 분해, UI 상태를 연결하며, 확인 가능한 스킬 파일에는 사용성 휴리스틱, 접근성 기준, 인지 부하 지침, 혼합 주도형 상호작용 원칙을 담습니다.
AUV-Bench: Aesthetic Understanding and Generation Evaluation for User Interfaces
실행 가능한 웹 인터페이스 1,395개를 바탕으로 미적 점수 평가, 진단, 수정, 텍스트 기반 UI 생성을 연결하는 2026년 9월 벤치마크입니다. 의도적으로 품질을 저하시킨 660개 사례에서 진단과 수정을 짝지어, 모델이 디자인 판단을 실제 인터페이스 개선으로 이어갈 수 있는지 평가합니다.
Elicitive User Interfaces: Designing How Users Shape Generative Interfaces
생성된 인터페이스가 사용자가 말하지 않은 선호를 물어보는 방식도 함께 생성해야 한다고 제안하는 2026년 9월 HCI 논문입니다. 6개 축의 디자인 공간과 Ditto 프로토타입을 통해 인터페이스에 포함되는 질문, 대안, 편집 가능한 패널 등의 입력 유도 방식을 다루며, 2건의 사용자 연구 결과를 제시합니다.
GUIDE: Designer-in-the-loop Authoring of Conformant Generative User Interfaces
생성된 인터페이스를 디자이너의 의도에 맞게 조정하는 Figma 기반 환경을 소개하는 2026년 9월 HCI 논문입니다. GUIDE는 캔버스 편집을 프롬프트 갱신으로 전환하고, 프로젝트의 참조 디자인과 비교하여 후보 화면의 순위를 정하는 디자인 적합도 평가기를 조정합니다.
Harnessing Generative UI for Education: Tailored Learning Interactives
Gemini로 맞춤형 STEM 시뮬레이션을 생성하는 Google Research의 2026년 9월 논문입니다. 교사 주도의 파이프라인은 학습 목표를 단계별 지원 구조가 있는 다단계 인터페이스로 전환합니다. 이후 렌더링된 HTML과 JavaScript의 시각적 오류, 해답 오류, 계측 오류, 동작 메커니즘의 오류를 검사한 뒤 결과를 개선합니다.
IWC-Bench: Evaluating Web Application Generation from a Software Testing Perspective
커버리지 기반 브라우저 탐색으로 실행 가능한 LLM 생성 웹 애플리케이션을 평가하는 2026년 벤치마크입니다. IWC-Bench는 각 앱에 계측 코드를 삽입하고 상호작용 기록을 상태 전이 그래프로 변환합니다. 실제 요구사항 369개와 수용 기준 5,088개를 바탕으로 시각적 심미성, 사용성, 요구사항 정합성에 점수를 매깁니다.
Toward Frontier-Quality Declarative UI Generation at Small-Model Cost
소형 언어 모델이 승인된 컴포넌트 카탈로그를 바탕으로 실제 서비스에 적용할 수 있는 A2UI를 생성할 수 있는지 연구하는 Harness4GenUI의 2026년 9월 논문입니다. 저자들은 작업 관리와 클라우드 콘솔 도메인에서 학습 데이터 전략, 모델 크기, 카탈로그 크기, 비용, 지연 시간, 바인딩 정확성, 렌더링 품질을 비교합니다.
EvoGenUI-Bench: Evaluating Multi-Turn Generative UI Assistants
사용자 요구사항이 바뀌는 동안 LLM 어시스턴트가 실행 가능한 하나의 웹 인터페이스를 유지할 수 있는지 평가하는 2026년 8월 벤치마크입니다. EvoGenUI-Bench는 정보 제시, 상태 유지형 상호작용, 도구에 근거한 외부 상태에 걸쳐 5턴으로 구성된 작업 150개를 포함합니다. 스크린샷, DOM과 소스 근거, 행위자 실행 기록, 런타임 로그를 활용하여 브라우저 기반 평가를 수행합니다.
Maru: Information Architecture for Aligned, Persistent Generative UI
Generative UI의 공유 상태로 정보 구조를 도입하는 2026년 8월 HCI 논문입니다. Maru는 사용자가 정보를 구분하고, 순서를 정하고, 이름을 붙이고, 우선순위를 부여하는 방식을 포착하여 지속적으로 유지되는 규칙으로 전환합니다. 각 프롬프트에서 구조를 새로 만드는 대신 연속적인 인터페이스 생성 전반에 이 규칙을 적용합니다.
SchemaGUI: A Schema-Driven Benchmark for Controllable GUI Generation
잡음이 있는 사람의 레이블 대신 결정론적 주석으로 LLM 생성 인터페이스를 평가하는 2026년 8월 벤치마크입니다. SchemaGUI는 매개변수화된 UI 스키마에서 2개 언어의 지시문과 함수 호출 정답을 합성한 뒤, 6개 시나리오와 5개 모델에서 실행 가능성, 기하학적 특성, 레이아웃 복잡도를 측정합니다.
RAGE-Vis: A Relation-Aware Generative Editing Interface for Chart Editing
자연어로 차트를 편집하는 Generative UI를 소개하는 ChinaVis 2026 논문입니다. RAGE-Vis는 비트맵 차트를 편집 가능한 매개변수 기반 표현으로 변환하고 복합 요청을 분석합니다. 세부 조건이 명확하지 않은 편집 의도에 대응하도록 전체 및 부분 컨트롤이 연동되는 계층형 패널을 생성합니다.
LEGOUI: Designing with UI-DSL Bricks for Transparent, Controllable Generation
초기 디자인 아이디어 구상을 위한 단계형 Generative UI 프레임워크를 소개하는 2026년 8월 HCI 논문입니다. LEGOUI는 프롬프트에서 도출하거나 모델이 추론한 결정을 출처를 추적할 수 있는 UI DSL에 기록합니다. 사용자는 레이아웃, 상호작용, 관계, 스타일 단계에서 결정을 수용·거부·추가할 수 있으며, 시스템은 갱신되는 명세를 바탕으로 렌더링합니다.
Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation
단일 LLM 평가자를 근거 기반의 심리적으로 다양한 페르소나 패널로 대체하는 평가 방법 ESPP를 소개하는 2026년 7월 논문입니다. 각 패널 구성원은 생성된 인터페이스의 스크린샷을 독립적으로 평가하고 제한된 신뢰 메커니즘을 통해 의견을 교환하며, 최종 결과에는 사회적 가중치를 적용합니다.
Design Theater: A Benchmark for Generative UI
Generative UI 도구가 사용자에게 제시한 디자인 근거를 실제로 구현하는지 확인하는 벤치마크를 소개하는 2026년 7월 논문입니다. 5개 도구가 구조·스타일·기능에 관한 24개 작업에서 생성한 인터페이스 120개를 대상으로, 주장한 디자인 결정과 생성 결과 사이의 격차를 측정합니다.
MV-Bench: Benchmarking MLLMs for Coordinated Multi-View Interface Construction
멀티모달 언어 모델이 시각적 디자인을 바탕으로 실행 가능한 다중 뷰 시각화 인터페이스를 생성할 수 있는지 평가하는 2026년 7월 벤치마크입니다. MV-Bench는 Tableau 워크북을 구조화된 정답으로 활용하며 시각적 충실도, 데이터 바인딩, 연동 상호작용, 코드 실행 가능성을 평가합니다.
Learning to Detect UI Principle Violations via Reinforcement Learning
생성된 웹 인터페이스를 평가하는 경량 비전 언어 모델을 다루는 2026년 7월 논문입니다. 저자들은 WCAG 2.2 접근성, 기만적 디자인, 인지적 사용성에 걸친 19개 원칙을 통합하고, 검증된 합성 위반 사례가 포함된 생성 페이지 약 10,000개로 모델을 학습합니다.
TaskArtisan: Designing Composable Generative Widgets for LLM-Assisted Analysis
Generative UI를 통해 길고 여러 단계로 구성된 챗봇 분석 워크플로를 더 쉽게 다시 살펴보고 재사용할 수 있는지 연구하는 2026년 7월 HCI 논문입니다. TaskArtisan은 사용자가 분석 위젯을 만들고 순차형 또는 분기형 워크플로로 조합할 수 있도록 하며, 12명이 참여한 연구에서 기존 챗봇과 이 접근법을 비교합니다.
AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs
자연어로 작성한 화면 설명을 완전히 편집 가능한 프로토타입으로 변환하는 오픈소스 Figma 플러그인 AI Prototyper를 소개하는 2026년 7월 논문입니다. 파이프라인은 요청을 검토 가능한 기능으로 분해하고, 32가지 기본 요소로 구성된 고정 라이브러리에서 컴포넌트를 검색합니다. 이후 스키마 제약을 따르는 인스턴스를 생성하고 자동 레이아웃을 갖춘 네이티브 Figma 레이어로 렌더링합니다.
Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control
모션 그래픽 캔버스에 맥락을 인식하는 컨트롤을 직접 생성하는 LLM 기반 시스템 Spatula를 소개하는 2026년 7월 HCI 논문입니다. 유연한 속성 제어 공간을 통해 점진적인 기능 발견, 다양한 정밀도 수준, 의미 기반 그룹 편집, 필요에 따른 새 컨트롤 생성을 지원합니다.
Rethinking the UI of GenUI: A Tale of Two Designs
Generative UI 도구에서 흔히 사용하는 프롬프트 우선·깊이 우선·고충실도 방식과 구조화된 너비 우선·저충실도 대안을 비교하는 2026년 6월 HCI 논문입니다. UX 디자이너와 제품 관리자 24명이 참여한 연구를 통해 초기 디자인 탐색에서 나타나는 구체적인 절충 관계를 제시합니다.
The Missing Layer: Why EdTech Needs Design-Time Generative UI, Not Just Runtime Personalization
AIED NextGen Learning Interfaces Workshop에 채택된 2026년 6월 arXiv 논문입니다. 적응형 교육에서 학습자의 런타임뿐 아니라 저작 단계에도 Generative UI를 활용해야 한다고 주장합니다. 이를 통해 학생이 접하기 전에 교수자가 접근성을 갖춘 모달리티별 표현을 검증할 수 있도록 합니다.
TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software
복잡한 창작 도구를 위해 작업 조건에 맞는 학습 지원 UI를 생성하는 LLM 기반 방법 TaskLens를 소개하는 DIS 2026 / arXiv 논문입니다. 시스템은 워크플로 단계와 도메인 개념을 식별하고 관련 도구를 선택한 뒤 구현 코드를 생성합니다. Blender 같은 소프트웨어 안에서 고급 기능을 점진적으로 드러내는 인터페이스를 제공합니다.
FlowEval: Reference-Based Evaluation of Generated User Interfaces
생성된 인터페이스가 실제적인 사용자 여정을 지원하는지 평가하는 Apple 연구진이 참여한 연구입니다. FlowEval은 참조 웹사이트와 그에 대응하는 생성 사이트에서 검증된 작업을 실행합니다. 참조 기반 유사도 지표로 탐색 기록을 비교하고, 해당 점수가 전문가의 UI 판단과 얼마나 잘 일치하는지 평가합니다.
Macaron-A2UI: A Model for Generative UI in Personal Agents
개인용 에이전트의 런타임 Generative UI에 초점을 맞춘 2026년 arXiv 논문입니다. 저자들은 단순 채팅이 복잡한 에이전트 작업의 병목이 된다고 주장하며, 대규모 Generative UI 코퍼스와 A2UI-Bench를 소개합니다. 확인, 선호 조정, 다중 목표 조율을 위해 자연어와 경량의 실행 가능한 UI 동작을 함께 생성하는 모델을 학습합니다.
Efficient Personalization of Generative User Interfaces
GenUI의 핵심 미해결 과제 중 하나인 개인화를 다루는 최근 arXiv 논문입니다. 저자들은 훈련받은 디자이너들이 동일한 생성 UI 600개에 대해 수행한 쌍대 비교 판단을 수집하여 디자인 선호가 크게 다르다는 점을 보여줍니다. 또한 기준 평가기와 직접적인 프롬프트 작성보다 생성 인터페이스를 더 효과적으로 개인화하는 표본 효율적인 선호 모델을 제안합니다.
MAIC-UI: Making Interactive Courseware with Generative UI
교육용 학습 자료를 코드 작성 없이 제작하는 GenUI 시스템을 소개하는 최근 arXiv 논문입니다. MAIC-UI는 교과서, PPT, PDF를 상호작용형 학습 페이지로 변환하고, 교육적 정확성을 위한 생성·검증·최적화 파이프라인을 사용합니다. 비용이 큰 전체 재생성 대신 클릭으로 위치를 지정하는 점진적 수정을 지원합니다.
Generative UI as an Accessibility Bridge: Lessons from C2C E-Commerce
런타임 Generative UI가 사용자가 작성한 마켓플레이스 콘텐츠의 접근성 격차를 해소할 수 있다고 주장하는 arXiv / CHI 2026 워크숍 논문입니다. 시각장애인, 저시력 사용자, 고령 사용자를 대상으로 한 6건의 연구를 바탕으로, 적응형 인터페이스·음성 안내·재생성된 HTML을 외형적인 UI 변형이 아닌 정책 기반 접근성 개입으로 다룹니다.
What does Generative UI mean for HCI Practice?
AI 생성 인터페이스가 디자인 방법, 워크플로, 사용자 경험을 어떻게 바꿀 수 있는지 다루는 Microsoft Research 및 학계 HCI 연구진의 CHI EA 2026 워크숍 논문입니다. GenUI를 단순한 모델 출력 기법이 아니라 연구자, 디자이너, 개발자, 제품팀의 실무 차원 변화로 설명한다는 점에서 유용합니다.
Software as Content: Dynamic Applications as the Human-Agent Interaction Layer
구조화되어 있고 상태를 유지해야 하는 사람·에이전트 작업에는 채팅만으로 충분하지 않다고 주장하는 2026년 arXiv 논문입니다. 저자들은 동적으로 생성되는 에이전트 기반 애플리케이션을 주된 상호작용 계층으로 삼는 Software as Content를 제안합니다. 애플리케이션은 여러 턴에 걸쳐 유지되며, 모든 작업을 선형 텍스트로 처리하는 대신 실행 가능한 컨트롤을 제공합니다.
The Keyhole Effect: Why Chat Interfaces Fail at Data Analysis
여러 단계에 걸쳐 상태를 유지해야 하는 분석 작업에서 채팅을 기본 작업 화면으로 삼는 것은 적절하지 않다고 주장하는 2026년 arXiv 논문입니다. 선형 대화가 한계에 부딪히는 지점을 인지과학으로 설명하고, 가시성·공간 기억·사용자 통제를 회복하는 실용적인 방법으로 Generative UI와 다른 혼합형 상호작용 패턴을 제시합니다.
Gradual Generation of User Interfaces as a Design Method for Malleable Software
GenUI 디자인 방법인 ‘Gradually Generating User Interfaces’를 제안하는 2026년 arXiv 논문입니다. 생성 과정에 중간 인터페이스 계층을 삽입하여, 사용자가 거대한 프롬프트 입력창이나 복잡한 메뉴에 압도되지 않고 맞춤 설정 옵션을 발견하고 제어할 수 있도록 합니다.
AlignUI: A Method for Designing LLM-Generated UIs Aligned with User Preferences
LLM 생성 인터페이스를 사용자의 작업과 선호에 맞추는 방법을 다루는 2026년 arXiv 논문입니다. 저자들은 이미지 편집 작업에서 사용자 50명에게 UI 컨트롤 선호 720개를 수집하고, 이 데이터셋으로 모델 추론을 유도합니다. 이후 추가 사용자 72명을 대상으로 생성된 UI를 평가합니다.
Generative UI: LLMs are Effective UI Generators
Generative UI 개념을 처음으로 체계적으로 설명한 Google Research 논문입니다. 논문은 Generative UI를 ‘AI 모델이 콘텐츠뿐 아니라 전체 사용자 경험을 생성하는 것’으로 정의합니다. 실험에서는 적절한 프롬프트와 도구를 활용할 경우 LLM이 사용자가 유의미하게 더 선호하는 고품질 맞춤형 상호작용 인터페이스를 생성할 수 있음을 보여줍니다. 사례의 44%에서는 인간 전문가와 견줄 만한 결과를 보였습니다. 생성된 인터페이스를 평가하기 위한 PAGEN 데이터셋도 공개합니다.
Improving User Interface Generation Models from Designer Feedback
전문적인 디자인 실무에 맞는 피드백으로 LLM 기반 UI 생성기를 학습하는 연구 논문입니다. 저자들은 디자이너 21명의 순위 평가, 의견, 스케치, 직접 수정을 비교하고, 수집한 데이터로 실제 화면으로 렌더링되는 인터페이스를 생성하는 코드 모델을 개선합니다.
Generative Interfaces for Language Models
LLM이 텍스트로만 응답하는 대신 작업별 인터페이스를 능동적으로 생성하는 패러다임을 제안하는 ACL 2026 Findings 논문입니다. 인터페이스별 표현과 반복 개선을 결합하며, 정보 밀도가 높거나 탐색이 필요한 작업에서 평가자들이 대화형 인터페이스보다 생성형 인터페이스를 최대 72% 더 선호했다고 보고합니다.
Towards a Working Definition of Designing Generative User Interfaces
문헌 검토와 사례 분석을 통해 Generative UI(GenUI)의 첫 실무적 정의를 제안하는 DIS 2025 학회 논문입니다. 이 연구는 GenUI를 ‘디자인 단계에서 사람과 AI가 협력하여 인터페이스를 생성하고, 런타임에는 사용자가 AI 생성 인터페이스와 상호작용하는’ 새로운 인터페이스 제작 패러다임으로 설명합니다. 공동 창작, 디자인 공간 확장, 표현의 유동성, 맥락적 적응, 생성 우선이라는 GenUI의 5가지 핵심 특성을 정리합니다.
Generative and Malleable User Interfaces with Generative AI
사용자 작업에 따라 AI가 ‘생성형이며 유연하게 바꿀 수 있는 사용자 인터페이스’를 만들도록 제안하는 CHI 2025 논문입니다. 저자들은 LLM이 사용자 프롬프트를 분석하여 UI 명세를 생성하고 이를 구체적인 인터페이스로 매핑하는 작업 중심 데이터 모델을 설계했습니다. 실험에서는 이 방법이 폼과 시각화 같은 인터페이스 요소를 동적으로 생성하고, 사용자가 자연어로 인터페이스를 수정하도록 지원할 수 있음을 보여줍니다.
BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks
사용자 의도와 LLM 생성 코드 사이에 임시 UI 계층을 삽입하는 JupyterLab 워크플로 BISCUIT을 소개하는 Apple 연구진의 VL/HCC 2024 논문입니다. 프롬프트에서 곧바로 소스 파일로 넘어가는 대신, 사용자는 코드가 출력되기 전에 임시로 생성된 컨트롤과 먼저 상호작용하면서 선택지를 이해하고 요청을 구체화하며 변수를 탐색합니다.