📄

Generative UI Papers - Forschung zu Agentic UI und Dynamic Interfaces

Entdecke Forschung zu Generative UI, GenUI, KI-Agent Interfaces und dynamischen Benutzeroberflaechen. Mit Arbeiten zu LLM-basierter UI-Generierung, A2UI, Human-Agent Interaction, HCI und sicheren KI-Schnittstellen.

27 Eintraege
📄Papers

LEGOUI: Designing with UI-DSL Bricks for Transparent, Controllable Generation

August 2026 HCI paper introducing a staged Generative UI framework for early design ideation. LEGOUI records prompt-derived and model-inferred decisions in a provenance-aware UI DSL, lets users accept, reject, or add decisions across layout, interaction, relation, and style stages, and renders from the evolving specification.

genuiui-dsldesign-time
von Zhou Y. et al. · 2026-08
Mehr lesen
📄Papers

Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation

July 2026 paper introducing ESPP, an evaluation method that replaces one LLM judge with a panel of evidence-grounded, psychologically diverse personas. Panelists independently rate generated-interface screenshots, exchange opinions through a bounded-confidence mechanism, and are combined with social weighting.

genuiui-evaluationhuman-preferences
von Wu Z. et al. · 2026-07
Mehr lesen
📄Papers

Design Theater: A Benchmark for Generative UI

July 2026 paper introducing a benchmark for checking whether Generative UI tools implement the design rationales they present to users. Across 120 interfaces from five tools and 24 structural, styling, and functional tasks, the study measures gaps between claimed design decisions and the generated result.

genuiui-evaluationdesign-rationale
von Imteyaz K. et al. · 2026-07
Mehr lesen
📄Papers

MV-Bench: Benchmarking MLLMs for Coordinated Multi-View Interface Construction

July 2026 benchmark for testing whether multimodal language models can generate executable multi-view visualization interfaces from visual designs. MV-Bench uses Tableau workbooks as structured ground truth and evaluates visual fidelity, data bindings, coordinated interactions, and code executability.

ui-generationmultimodal-modelsdata-visualization
von Zhao Y. et al. · 2026-07
Mehr lesen
📄Papers

Learning to Detect UI Principle Violations via Reinforcement Learning

July 2026 paper on a lightweight vision-language critic for generated web interfaces. The authors unify 19 principles spanning WCAG 2.2 accessibility, deceptive design, and cognitive usability, then train on roughly 10,000 generated pages with verified synthetic violations.

ui-evaluationaccessibilitydesign-quality
von Mehta N. et al. · 2026-07
Mehr lesen
📄Papers

TaskArtisan: Designing Composable Generative Widgets for LLM-Assisted Analysis

July 2026 HCI paper examining how Generative UI can make long, multi-step chatbot analysis workflows easier to revisit and reuse. TaskArtisan lets people create analysis widgets and compose them into sequential or fan-out workflows, then compares the approach with a conventional chatbot in a 12-participant study.

generative-widgetsanalysiscomposition
von Chen M. and Pavel A. · 2026-07
Mehr lesen
📄Papers

AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs

July 2026 paper introducing AI Prototyper, an open-source Figma plugin that turns natural-language screen descriptions into fully editable prototypes. Its pipeline decomposes a request into reviewable features, retrieves components from a fixed 32-primitive library, generates schema-constrained instances, and renders native Figma layers with auto-layout.

figmadesign-timegui-prototyping
von Salangsingha T. et al. · 2026-07
Mehr lesen
📄Papers

Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control

July 2026 HCI paper introducing Spatula, an LLM-powered system that generates context-aware controls directly on a motion-graphics canvas. Its elastic attribute control space supports progressive discovery, multiple levels of precision, semantic group editing, and new controls on demand.

on-demand-uicreative-toolsdirect-manipulation
von Li B. et al. · 2026-07
Mehr lesen
📄Papers

Rethinking the UI of GenUI: A Tale of Two Designs

June 2026 HCI paper comparing the prompt-first, depth-first, high-fidelity pattern common in Generative UI tools with a structured, breadth-first, low-fidelity alternative. A study with 24 UX designers and product managers surfaces concrete trade-offs for early-stage design exploration.

ux-designdesign-explorationgenui
von Chen X. et al. · 2026-06
Mehr lesen
📄Papers

The Missing Layer: Why EdTech Needs Design-Time Generative UI, Not Just Runtime Personalization

June 2026 arXiv paper accepted at the AIED NextGen Learning Interfaces Workshop. It argues that adaptive education should use Generative UI at authoring time, not only at learner runtime, so instructors can verify accessible, modality-specific representations before students encounter them.

educationdesign-timeaccessibility
von Neshaei S. P. et al. · 2026-06
Mehr lesen
📄Papers

TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software

DIS 2026 / arXiv Paper zu TaskLens, einer LLM-basierten Methode fuer task-conditioned scaffolded UIs in komplexer Kreativsoftware. Das System erkennt Workflow-Stufen und Domaenenkonzepte, waehlt relevante Tools, generiert Implementierungscode und erzeugt Interfaces, die fortgeschrittene Funktionen in Software wie Blender schrittweise offenlegen.

scaffolded-uicreative-softwaregenui
von Liu Y. et al. · 2026-06
Mehr lesen
📄Papers

FlowEval: Reference-Based Evaluation of Generated User Interfaces

Apple-affiliated research on evaluating whether generated interfaces support realistic user journeys. FlowEval runs validated tasks on reference websites and generated analogs, compares their navigation traces with reference-based similarity metrics, and tests how well those scores align with expert UI judgments.

ui-evaluationinteraction-flowscomputer-use-agents
von Wu J. et al. · 2026-05
Mehr lesen
📄Papers

Macaron-A2UI: A Model for Generative UI in Personal Agents

Aktuelles arXiv Paper aus 2026 zu runtime Generative UI fuer Personal Agents. Die Autorinnen und Autoren zeigen, warum reiner Chat bei komplexen Agent-Aufgaben an Grenzen stoesst, fuehren ein grosses Generative UI Korpus sowie A2UI-Bench ein und trainieren Modelle, die natuerliche Sprache mit leichtgewichtigen, ausfuehrbaren UI-Aktionen fuer Bestaetigung, Praeferenzklaerung und Multi-Goal-Koordination verbinden.

agentsa2uibenchmark
von Kong F. et al. · 2026-05
Mehr lesen
📄Papers

Efficient Personalization of Generative User Interfaces

Aktuelles arXiv Paper zu einem Kernproblem von GenUI: Personalisierung. Die Studie sammelt Paarvergleiche trainierter Designer ueber 600 generierte UIs, zeigt starke Unterschiede in Designpraeferenzen und stellt ein stichprobeneffizientes Praeferenzmodell vor, das generierte Interfaces besser personalisiert als Baseline-Evaluator und direktes Prompting.

personalizationgenuiarxiv
von Peng Y.-H. et al. · 2026-04
Mehr lesen
📄Papers

MAIC-UI: Making Interactive Courseware with Generative UI

Aktuelles arXiv Paper ueber ein Zero-Code-GenUI-System fuer interaktive Lernmaterialien. MAIC-UI verwandelt Lehrbuecher, PPTs und PDFs in interaktive Lernseiten, nutzt eine Generate-Verify-Optimize Pipeline fuer didaktische Genauigkeit und unterstuetzt punktgenaue inkrementelle Bearbeitung statt teurer Vollregenerierung.

educationcoursewaregenui
von Tu S. et al. · 2026-04
Mehr lesen
📄Papers

Generative UI as an Accessibility Bridge: Lessons from C2C E-Commerce

arXiv / CHI 2026 Workshop Paper dazu, wie Runtime Generative UI Accessibility-Luecken in user-generierten Marketplace-Inhalten schliessen kann. Auf Basis von sechs Studien mit blinden, sehbehinderten und aelteren Nutzern beschreibt es angepasste Interfaces, Audio Guidance und regeneriertes HTML als policy-getriebene Accessibility Interventionen.

accessibilityruntime-adaptationecommerce
von Bektur Ryskeldiev · 2026-04
Mehr lesen
📄Papers

What does Generative UI mean for HCI Practice?

CHI EA 2026 workshop paper from Microsoft Research and academic HCI researchers on how AI-generated interfaces may reshape design methods, workflows, and user experiences. It is useful because it frames GenUI as a practice-level shift for researchers, designers, developers, and product teams, not only a model-output technique.

chi-2026hci-practicedesign-workflows
von Lindley S. et al. · 2026-04
Mehr lesen
📄Papers

Software as Content: Dynamic Applications as the Human-Agent Interaction Layer

arXiv Paper aus 2026, das argumentiert, dass Chat allein kein gutes Medium fuer strukturierte, zustandsbehaftete Human-Agent-Arbeit ist. Software as Content beschreibt dynamisch generierte agentische Anwendungen als primaere Interaktionsschicht, die ueber Turns hinweg bestehen bleiben und direkt nutzbare Controls anbieten statt alles in linearen Text zu pressen.

agentic-appsgenuistateful-ui
von Xie M. and Xie Y. · 2026-03
Mehr lesen
📄Papers

The Keyhole Effect: Why Chat Interfaces Fail at Data Analysis

arXiv Paper aus 2026, das Chat als schwache Standardoberflaeche fuer mehrstufige, zustandsbehaftete Analysearbeit beschreibt. Es liefert eine kognitionswissenschaftliche Erklaerung fuer die Bruchstellen linearer Konversationen und positioniert Generative UI sowie andere hybride Interaktionsmuster als Wege zu mehr Sichtbarkeit, raeumlichem Gedaechtnis und Nutzerkontrolle.

genuihybrid-uianalysis
von Mohan Reddy · 2026-02
Mehr lesen
📄Papers

Gradual Generation of User Interfaces as a Design Method for Malleable Software

arXiv Paper aus 2026 ueber Gradually Generating User Interfaces, eine GenUI-Designmethode fuer malleable software. Der Ansatz fuegt waehrend der Generierung Zwischenschichten ein, damit Nutzer Anpassungsoptionen entdecken und steuern koennen, ohne von einem riesigen Prompt-Feld oder dichten Menues ueberfordert zu werden.

malleable-softwaregenuihci
von Min B. et al. · 2026-01
Mehr lesen
📄Papers

AlignUI: A Method for Designing LLM-Generated UIs Aligned with User Preferences

2026 arXiv paper on aligning LLM-generated interfaces with user tasks and preferences. The authors collect 720 UI-control preferences from 50 users across image-editing tasks, use that dataset to guide model reasoning, and evaluate generated UIs with 72 additional users.

preference-alignmentllm-generated-uihci
von Liu Y. et al. · 2026-01
Mehr lesen
📄Papers

Generative UI: LLMs are Effective UI Generators

Google Research Paper, das das Konzept Generative UI frueh systematisch ausformuliert. Es beschreibt, wie AI Modelle nicht nur Inhalte, sondern ganze Nutzererfahrungen erzeugen koennen, und zeigt in Experimenten, dass LLMs mit passenden Prompts und Tools hochwertige interaktive Interfaces generieren, die in vielen Faellen menschlichen Expertenergebnissen nahekommen. Das Paper veroeffentlicht ausserdem den PAGEN Datensatz.

googlegenerative-uillm
von Leviathan et al. (Google) · 2025-11
Mehr lesen
📄Papers

Improving User Interface Generation Models from Designer Feedback

Research paper on training LLM-based UI generators with feedback that matches professional design practice. The authors compare rankings, comments, sketches, and direct revisions from 21 designers, then use the resulting data to improve code models that generate rendered interfaces.

ui-generationdesigner-feedbackmodel-alignment
von Wu J. et al. · 2025-09
Mehr lesen
📄Papers

Generative Interfaces for Language Models

ACL 2026 Findings Paper, das ein Paradigma beschreibt, in dem LLMs proaktiv aufgabenspezifische Interfaces generieren statt nur Textantworten zu liefern. Die Arbeit kombiniert interface-spezifische Repraesentationen mit iterativer Verfeinerung und berichtet, dass menschliche Evaluatoren generative Interfaces bei informationsdichten und explorativen Aufgaben deutlich gegenueber reinen Konversationen bevorzugten.

acl-2026evaluationgenui
von Chen J. et al. · 2025-08
Mehr lesen
📄Papers

Towards a Working Definition of Designing Generative User Interfaces

DIS 2025 Paper, das ueber Literaturreview und Fallanalyse eine fruehe Arbeitsdefinition von Generative UI (GenUI) entwickelt. Es beschreibt GenUI als neues Paradigma der Interface-Erstellung, in dem Menschen und AI zur Designzeit Interfaces erzeugen und Nutzer zur Laufzeit mit AI-generierten Interfaces interagieren.

dis-2025genuidefinition
von Lee K.-H. · 2025-05
Mehr lesen
📄Papers

Generative and Malleable User Interfaces with Generative AI

CHI 2025 Paper ueber generative and malleable user interfaces auf Basis von Nutzeraufgaben. Die Autorinnen und Autoren entwerfen ein task-driven data model, in dem LLMs Prompts interpretieren, UI-Spezifikationen erzeugen und diese auf konkrete Interfaces abbilden. Experimente zeigen dynamische Elemente wie Formulare und Visualisierungen sowie natuerlichsprachliche Nachbearbeitung.

chi-2025malleable-uitask-driven
von Cao Y. et al. · 2025-03
Mehr lesen
📄Papers

BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks

VL/HCC 2024 Paper von Apple Forschenden zu BISCUIT, einem JupyterLab Workflow mit einer temporaeren UI-Schicht zwischen Nutzerintention und LLM-generiertem Code. Statt direkt vom Prompt in Quelldateien zu springen, interagieren Nutzer zunaechst mit generierten Controls, um Optionen zu verstehen, Anforderungen zu praezisieren und Variablen zu erkunden.

notebooksephemeral-uiprogramming
von Cheng R. et al. · 2024-08
Mehr lesen

Ein kuratiertes Verzeichnis fuer Generative UI, GenUI und sichere KI-Schnittstellen.

Erstellt mit ❤️ von der Community