ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality
November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.
Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI
November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.
ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views
October 2026 EMNLP system demonstration separating reusable graph, table, text, and display views from task-specific interaction meanings. ABRA publishes these bindings as shared canvas state so users and other agents can inspect and invoke task-specific actions.
Inflak: A Unified Orchestration Architecture for Human-Agent Interaction
October 2026 paper separating runtime human-agent interaction into routing, planning, design, and rendering. Inflak implements these layers as composable agent skills, letting task state determine when to request input and which generated interface to present.
Atelier: From Semantic Editing Intentions to Persistent Parametric Controls for AI-Assisted Image Editing
October 2026 HCI paper on adaptive controls for image editing. Atelier combines image context and a user's editing intent to compose persistent, adjustable widgets, exposing proposed parameters for refinement instead of returning only a finished image.
AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
October 2026 paper using generated reference images to guide editable HTML/CSS generation for dashboards, webpages, slides, and posters. AesCode keeps the prompt authoritative for content, represents the design as a graph, and trains with separate programmatic checks and visual rewards.
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
October 2026 paper pairing database tool execution with task-specific frontend generation. GenUI-Harness adds sandboxed interaction rollouts and reward auditing, while UI-TAU Bench tests whether generated interfaces help agents collect input and complete database-backed tasks across ten domains.
Design Creativity Bench: Measuring creativity in LLM-Generated UI
October 2026 Kombai paper evaluating originality, variation across product domains, and requirement satisfaction in LLM-generated interfaces. It compares 2,400 HTML designs from 15 models across 160 prompts with human reference designs, separating acceptable output from diverse design.
Automating HCI Principles: Skills for On-Demand UI Construction
Position paper proposing machine-readable skills that guide agents as they generate task-specific interfaces. Its shared Human-AI workspace connects dialogue, task decomposition, and UI state, while inspectable skill files encode usability heuristics, accessibility criteria, cognitive-load guidance, and mixed-initiative interaction principles.
AUV-Bench: Aesthetic Understanding and Generation Evaluation for User Interfaces
September 2026 benchmark connecting aesthetic scoring, diagnosis, repair, and text-to-UI generation across 1,395 executable web interfaces. It pairs diagnosis and repair on 660 controlled-degradation cases to test whether models can translate design judgments into effective interface changes.
Elicitive User Interfaces: Designing How Users Shape Generative Interfaces
September 2026 HCI paper proposing that generated interfaces should also generate ways to ask users about unstated preferences. Its six-axis design space and Ditto prototype cover questions, alternatives, editable panels, and other prompts embedded in the interface, with findings from two user studies.
GUIDE: Designer-in-the-loop Authoring of Conformant Generative User Interfaces
September 2026 HCI paper introducing a Figma-based environment for steering generated interfaces toward a designer's intent. GUIDE turns canvas edits into prompt updates and adapts a design-conformance scorer that ranks candidate screens against project references.
Harnessing Generative UI for Education: Tailored Learning Interactives
September 2026 Google Research paper on generating customized STEM simulations with Gemini. Its teacher-led pipeline turns learning objectives into scaffolded, multi-level interfaces, then checks rendered HTML and JavaScript for visual, solution, telemetry, and mechanical failures before refining the result.
IWC-Bench: Evaluating Web Application Generation from a Software Testing Perspective
2026 benchmark for evaluating runnable LLM-generated web applications through coverage-guided browser exploration. IWC-Bench instruments each app, turns interaction traces into state-transition graphs, and scores visual aesthetics, usability, and requirement alignment across 369 real-world requirements and 5,088 acceptance criteria.
Toward Frontier-Quality Declarative UI Generation at Small-Model Cost
September 2026 Harness4GenUI paper studying whether small language models can generate production-oriented A2UI from approved component catalogs. Across task-management and cloud-console domains, the authors compare training-data strategies, model sizes, catalog sizes, cost, latency, binding correctness, and rendered quality.
EvoGenUI-Bench: Evaluating Multi-Turn Generative UI Assistants
August 2026 benchmark testing whether LLM assistants can maintain one executable web interface as user requirements evolve. EvoGenUI-Bench contains 150 five-turn tasks across information presentation, stateful interaction, and tool-grounded external state, with browser-based evaluation over screenshots, DOM and source evidence, actor traces, and runtime logs.
Maru: Information Architecture for Aligned, Persistent Generative UI
August 2026 HCI paper introducing information architecture as shared state for Generative UI. Maru captures how users partition, order, name, and prioritize information, turns those choices into persistent rules, and applies them across successive interface generations instead of rebuilding structure from each prompt.
SchemaGUI: A Schema-Driven Benchmark for Controllable GUI Generation
August 2026 benchmark for evaluating LLM-generated interfaces with deterministic annotations instead of noisy human labels. SchemaGUI synthesizes bilingual instructions and function-call references from parameterized UI schemas, then measures feasibility, geometry, and layout complexity across six scenarios and five models.
RAGE-Vis: A Relation-Aware Generative Editing Interface for Chart Editing
ChinaVis 2026 paper introducing a Generative UI for natural-language chart editing. RAGE-Vis turns bitmap charts into editable parameterized representations, parses composite requests, and generates hierarchical panels with coordinated global and local controls for underspecified editing intents.
LEGOUI: Designing with UI-DSL Bricks for Transparent, Controllable Generation
Paper HCI Agustus 2026 yang memperkenalkan framework Generative UI bertahap untuk ideasi desain awal. LEGOUI mencatat keputusan dari prompt dan inferensi model dalam UI DSL yang melacak asal keputusan, memungkinkan pengguna menerima, menolak, atau menambahkan keputusan pada tahap layout, interaksi, relasi, dan style, lalu melakukan rendering dari spesifikasi yang terus berkembang.
Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation
Paper Juli 2026 yang memperkenalkan ESPP, metode evaluasi yang mengganti satu LLM judge dengan panel persona yang beragam secara psikologis dan berpijak pada bukti. Setiap panelis menilai screenshot interface yang dihasilkan secara independen, bertukar pendapat melalui mekanisme bounded-confidence, lalu hasilnya digabungkan menggunakan pembobotan sosial.
Design Theater: A Benchmark for Generative UI
Paper Juli 2026 yang memperkenalkan benchmark untuk memeriksa apakah tool Generative UI benar-benar menerapkan alasan desain yang disampaikan kepada pengguna. Melalui 120 interface dari lima tool dan 24 tugas struktural, styling, serta fungsional, studi ini mengukur kesenjangan antara keputusan desain yang diklaim dan hasil yang dibuat.
MV-Bench: Benchmarking MLLMs for Coordinated Multi-View Interface Construction
Benchmark Juli 2026 untuk menguji apakah multimodal language model dapat membuat interface visualisasi multi-view yang dapat dieksekusi dari desain visual. MV-Bench memakai workbook Tableau sebagai structured ground truth dan mengevaluasi fidelity visual, data binding, interaksi terkoordinasi, serta kemampuan kode untuk dieksekusi.
Learning to Detect UI Principle Violations via Reinforcement Learning
Paper Juli 2026 tentang vision-language critic ringan untuk interface web yang dihasilkan. Para penulis menyatukan 19 prinsip yang mencakup accessibility WCAG 2.2, deceptive design, dan cognitive usability, lalu melatih model pada sekitar 10.000 halaman hasil generasi dengan pelanggaran sintetis yang telah diverifikasi.
TaskArtisan: Designing Composable Generative Widgets for LLM-Assisted Analysis
Paper HCI Juli 2026 yang meneliti bagaimana Generative UI membuat workflow analisis chatbot yang panjang dan bertahap lebih mudah dikunjungi kembali dan digunakan ulang. TaskArtisan memungkinkan pengguna membuat widget analisis dan menyusunnya menjadi workflow berurutan atau fan-out, lalu membandingkan pendekatan ini dengan chatbot konvensional dalam studi 12 peserta.
AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs
Paper Juli 2026 yang memperkenalkan AI Prototyper, plugin Figma open-source yang mengubah deskripsi layar dalam bahasa alami menjadi prototype yang sepenuhnya dapat diedit. Pipeline-nya menguraikan permintaan menjadi fitur yang dapat ditinjau, mengambil component dari library tetap berisi 32 primitive, membuat instance dengan batasan schema, dan merender layer native Figma dengan auto-layout.
Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control
Paper HCI Juli 2026 yang memperkenalkan Spatula, sistem berbasis LLM yang membuat control kontekstual langsung pada canvas motion graphics. Elastic attribute control space miliknya mendukung progressive discovery, beberapa tingkat presisi, pengeditan kelompok secara semantik, dan control baru sesuai kebutuhan.
Rethinking the UI of GenUI: A Tale of Two Designs
Paper HCI Juni 2026 yang membandingkan pola prompt-first, depth-first, dan high-fidelity yang umum pada tool Generative UI dengan alternatif terstruktur yang breadth-first dan low-fidelity. Studi bersama 24 UX designer dan product manager mengungkap trade-off konkret untuk eksplorasi desain tahap awal.
The Missing Layer: Why EdTech Needs Design-Time Generative UI, Not Just Runtime Personalization
Paper arXiv Juni 2026 yang diterima di AIED NextGen Learning Interfaces Workshop. Paper ini berargumen bahwa pendidikan adaptif perlu memakai Generative UI pada authoring time, bukan hanya saat runtime pembelajar, agar instruktur dapat memverifikasi representasi yang accessible dan spesifik untuk setiap modalitas sebelum digunakan siswa.
TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software
Paper DIS 2026 / arXiv yang memperkenalkan TaskLens, metode berbasis LLM untuk membuat scaffolded UI sesuai tugas pada tool kreatif yang kompleks. Sistem ini mengenali tahap workflow dan konsep domain, memilih tool yang relevan, membuat kode implementasi, serta menghasilkan interface yang menampilkan fitur lanjutan secara bertahap di software seperti Blender.
FlowEval: Reference-Based Evaluation of Generated User Interfaces
Riset yang berafiliasi dengan Apple tentang evaluasi kemampuan interface hasil generasi dalam mendukung user journey yang realistis. FlowEval menjalankan tugas tervalidasi pada website referensi dan hasil generasi yang setara, membandingkan navigation trace dengan metrik kemiripan berbasis referensi, lalu menguji keselarasan skor tersebut dengan penilaian pakar UI.
Macaron-A2UI: A Model for Generative UI in Personal Agents
Paper arXiv terbaru tahun 2026 yang berfokus pada runtime Generative UI untuk personal agents. Para penulis berargumen bahwa chat biasa menjadi bottleneck untuk tugas agent yang kompleks, memperkenalkan corpus Generative UI berskala besar beserta A2UI-Bench, dan melatih model yang menghasilkan bahasa alami bersama executable UI actions ringan untuk konfirmasi, refinement preferensi, dan koordinasi multi-goal.
Efficient Personalization of Generative User Interfaces
Paper arXiv terbaru tentang salah satu masalah inti GenUI yang belum terpecahkan: personalisasi. Para penulis mengumpulkan penilaian berpasangan dari designer terlatih terhadap 600 UI yang sama, menunjukkan bahwa preferensi desain sangat beragam, dan mengusulkan preference model yang sample-efficient untuk mempersonalisasi interface hasil generasi secara lebih baik daripada evaluator baseline dan direct prompting.
MAIC-UI: Making Interactive Courseware with Generative UI
Paper arXiv terbaru yang memperkenalkan sistem GenUI zero-code untuk materi pembelajaran. MAIC-UI mengubah buku teks, PPT, dan PDF menjadi halaman belajar interaktif, memakai pipeline generate-verify-optimize untuk akurasi pedagogis, serta mendukung pengeditan inkremental click-to-locate sebagai pengganti regenerasi penuh yang mahal.
Generative UI as an Accessibility Bridge: Lessons from C2C E-Commerce
Paper workshop arXiv / CHI 2026 yang berargumen bahwa runtime Generative UI dapat menutup kesenjangan accessibility pada konten marketplace buatan pengguna. Berdasarkan enam studi dengan pengguna tunanetra, low-vision, dan lansia, paper ini menempatkan interface adaptif, panduan audio, dan HTML hasil regenerasi sebagai intervensi accessibility berbasis kebijakan, bukan variasi UI kosmetik.
What does Generative UI mean for HCI Practice?
Paper workshop CHI EA 2026 dari Microsoft Research dan peneliti HCI akademis tentang cara interface buatan AI dapat mengubah metode desain, workflow, dan pengalaman pengguna. Paper ini berguna karena menempatkan GenUI sebagai perubahan pada tingkat praktik bagi peneliti, designer, developer, dan tim produk, bukan sekadar teknik output model.
Software as Content: Dynamic Applications as the Human-Agent Interaction Layer
Paper arXiv 2026 yang berargumen bahwa chat saja bukan medium yang baik untuk pekerjaan manusia-agent yang terstruktur dan stateful. Para penulis mengusulkan Software as Content, yakni aplikasi agentic yang dibuat secara dinamis menjadi interaction layer utama, bertahan antargiliran, dan menyediakan control yang dapat ditindaklanjuti alih-alih memaksa semuanya melewati teks linear.
The Keyhole Effect: Why Chat Interfaces Fail at Data Analysis
Paper arXiv 2026 yang berargumen bahwa chat bukan permukaan default yang baik untuk pekerjaan analisis bertahap dan stateful. Paper ini menjelaskan melalui cognitive science bagian percakapan linear yang gagal, lalu menempatkan Generative UI dan pola interaksi hybrid lainnya sebagai cara praktis untuk memulihkan visibilitas, spatial memory, dan kontrol pengguna.
Gradual Generation of User Interfaces as a Design Method for Malleable Software
Paper arXiv 2026 yang mengusulkan "Gradually Generating User Interfaces", metode desain GenUI yang menyisipkan layer interface perantara selama proses generasi agar pengguna dapat menemukan dan mengendalikan opsi kustomisasi tanpa kewalahan oleh kotak prompt raksasa atau sistem menu yang padat.
AlignUI: A Method for Designing LLM-Generated UIs Aligned with User Preferences
Paper arXiv 2026 tentang penyelarasan interface buatan LLM dengan tugas dan preferensi pengguna. Para penulis mengumpulkan 720 preferensi control UI dari 50 pengguna dalam tugas pengeditan gambar, memakai dataset tersebut untuk memandu reasoning model, lalu mengevaluasi UI yang dihasilkan bersama 72 pengguna tambahan.
Generative UI: LLMs are Effective UI Generators
Paper Google Research yang pertama kali merumuskan konsep Generative UI secara sistematis. Paper ini mendefinisikan Generative UI sebagai "model AI yang tidak hanya menghasilkan konten, tetapi seluruh pengalaman pengguna". Eksperimen menunjukkan bahwa dengan prompt dan tool yang tepat, LLM dapat membuat interface interaktif khusus berkualitas tinggi yang jauh lebih disukai pengguna manusia, dengan 44% kasus dinilai setara pakar manusia. Paper ini juga merilis dataset PAGEN untuk mengevaluasi interface hasil generasi.
Improving User Interface Generation Models from Designer Feedback
Paper riset tentang pelatihan generator UI berbasis LLM dengan feedback yang sesuai dengan praktik desain profesional. Para penulis membandingkan ranking, komentar, sketch, dan revisi langsung dari 21 designer, lalu memakai data tersebut untuk meningkatkan model kode yang menghasilkan interface siap rendering.
Generative Interfaces for Language Models
Paper ACL 2026 Findings yang mengusulkan paradigma ketika LLM secara proaktif membuat interface khusus tugas, bukan hanya membalas dengan teks. Riset ini memadukan representasi khusus interface dengan refinement iteratif dan melaporkan bahwa evaluator manusia lebih memilih generative interface daripada interface percakapan hingga 72% pada tugas padat informasi dan eksploratif.
Towards a Working Definition of Designing Generative User Interfaces
Paper konferensi DIS 2025 yang mengusulkan working definition pertama untuk Generative UI (GenUI) melalui tinjauan literatur dan analisis kasus. Riset ini mendefinisikan GenUI sebagai paradigma baru pembuatan interface ketika "manusia dan AI berkolaborasi saat design-time untuk menghasilkan interface, lalu pengguna berinteraksi dengan interface buatan AI saat runtime". Paper ini merangkum lima karakteristik utama GenUI: co-creation, perluasan design space, fluiditas representasi, adaptasi kontekstual, dan generation-first.
Generative and Malleable User Interfaces with Generative AI
Paper CHI 2025 yang mengusulkan penggunaan AI untuk membuat "generative and malleable user interfaces" berdasarkan tugas pengguna. Para penulis merancang data model berbasis tugas, dengan LLM yang mengurai prompt pengguna dan membuat spesifikasi UI sebelum memetakannya ke interface konkret. Eksperimen menunjukkan bahwa metode ini dapat membuat elemen interface seperti form dan visualisasi secara dinamis, serta mendukung pengguna dalam mengubah interface melalui bahasa alami.
BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks
Paper VL/HCC 2024 dari peneliti Apple yang memperkenalkan BISCUIT, workflow JupyterLab yang menyisipkan layer ephemeral UI di antara intent pengguna dan kode buatan LLM. Alih-alih langsung berpindah dari prompt ke file sumber, pengguna terlebih dahulu berinteraksi dengan control sementara hasil generasi untuk memahami opsi, melakukan refinement permintaan, dan mengeksplorasi variabel sebelum kode dibuat.