📄

Paper Generative UI - Google Research, PAGEN, A2UI e studi HCI

Leggi paper fondamentali sulla Generative UI: lavori Google Research sugli LLM UI generator, dataset PAGEN, ricerca A2UI per personal agent, studi CHI/DIS HCI e definizioni pratiche di GenUI.

28 elementi
📄Paper

RAGE-Vis: A Relation-Aware Generative Editing Interface for Chart Editing

ChinaVis 2026 paper introducing a Generative UI for natural-language chart editing. RAGE-Vis turns bitmap charts into editable parameterized representations, parses composite requests, and generates hierarchical panels with coordinated global and local controls for underspecified editing intents.

generative-uidata-visualizationnatural-language-editing
di Kang Z. et al. · 2026-08
Leggi di più
📄Paper

LEGOUI: Designing with UI-DSL Bricks for Transparent, Controllable Generation

August 2026 HCI paper introducing a staged Generative UI framework for early design ideation. LEGOUI records prompt-derived and model-inferred decisions in a provenance-aware UI DSL, lets users accept, reject, or add decisions across layout, interaction, relation, and style stages, and renders from the evolving specification.

genuiui-dsldesign-time
di Zhou Y. et al. · 2026-08
Leggi di più
📄Paper

Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation

July 2026 paper introducing ESPP, an evaluation method that replaces one LLM judge with a panel of evidence-grounded, psychologically diverse personas. Panelists independently rate generated-interface screenshots, exchange opinions through a bounded-confidence mechanism, and are combined with social weighting.

genuiui-evaluationhuman-preferences
di Wu Z. et al. · 2026-07
Leggi di più
📄Paper

Design Theater: A Benchmark for Generative UI

July 2026 paper introducing a benchmark for checking whether Generative UI tools implement the design rationales they present to users. Across 120 interfaces from five tools and 24 structural, styling, and functional tasks, the study measures gaps between claimed design decisions and the generated result.

genuiui-evaluationdesign-rationale
di Imteyaz K. et al. · 2026-07
Leggi di più
📄Paper

MV-Bench: Benchmarking MLLMs for Coordinated Multi-View Interface Construction

July 2026 benchmark for testing whether multimodal language models can generate executable multi-view visualization interfaces from visual designs. MV-Bench uses Tableau workbooks as structured ground truth and evaluates visual fidelity, data bindings, coordinated interactions, and code executability.

ui-generationmultimodal-modelsdata-visualization
di Zhao Y. et al. · 2026-07
Leggi di più
📄Paper

Learning to Detect UI Principle Violations via Reinforcement Learning

July 2026 paper on a lightweight vision-language critic for generated web interfaces. The authors unify 19 principles spanning WCAG 2.2 accessibility, deceptive design, and cognitive usability, then train on roughly 10,000 generated pages with verified synthetic violations.

ui-evaluationaccessibilitydesign-quality
di Mehta N. et al. · 2026-07
Leggi di più
📄Paper

TaskArtisan: Designing Composable Generative Widgets for LLM-Assisted Analysis

July 2026 HCI paper examining how Generative UI can make long, multi-step chatbot analysis workflows easier to revisit and reuse. TaskArtisan lets people create analysis widgets and compose them into sequential or fan-out workflows, then compares the approach with a conventional chatbot in a 12-participant study.

generative-widgetsanalysiscomposition
di Chen M. and Pavel A. · 2026-07
Leggi di più
📄Paper

AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs

July 2026 paper introducing AI Prototyper, an open-source Figma plugin that turns natural-language screen descriptions into fully editable prototypes. Its pipeline decomposes a request into reviewable features, retrieves components from a fixed 32-primitive library, generates schema-constrained instances, and renders native Figma layers with auto-layout.

figmadesign-timegui-prototyping
di Salangsingha T. et al. · 2026-07
Leggi di più
📄Paper

Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control

July 2026 HCI paper introducing Spatula, an LLM-powered system that generates context-aware controls directly on a motion-graphics canvas. Its elastic attribute control space supports progressive discovery, multiple levels of precision, semantic group editing, and new controls on demand.

on-demand-uicreative-toolsdirect-manipulation
di Li B. et al. · 2026-07
Leggi di più
📄Paper

Rethinking the UI of GenUI: A Tale of Two Designs

June 2026 HCI paper comparing the prompt-first, depth-first, high-fidelity pattern common in Generative UI tools with a structured, breadth-first, low-fidelity alternative. A study with 24 UX designers and product managers surfaces concrete trade-offs for early-stage design exploration.

ux-designdesign-explorationgenui
di Chen X. et al. · 2026-06
Leggi di più
📄Paper

The Missing Layer: Why EdTech Needs Design-Time Generative UI, Not Just Runtime Personalization

Paper arXiv di giugno 2026, accettato al workshop AIED NextGen Learning Interfaces. Sostiene che l'educazione adattiva dovrebbe usare Generative UI durante l'authoring, non solo al runtime dello studente, così i docenti possono verificare rappresentazioni accessibili e specifiche per modalità prima che arrivino agli studenti.

educationdesign-timeaccessibility
di Neshaei S. P. et al. · 2026-06
Leggi di più
📄Paper

TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software

Paper DIS 2026 / arXiv che introduce TaskLens, un metodo basato su LLM per generare UI scaffolded condizionate dal task in strumenti creativi complessi. Il sistema identifica fasi del workflow e concetti di dominio, seleziona gli strumenti rilevanti, genera codice di implementazione e produce interfacce che svelano progressivamente funzioni avanzate in software come Blender.

scaffolded-uicreative-softwaregenui
di Liu Y. et al. · 2026-06
Leggi di più
📄Paper

FlowEval: Reference-Based Evaluation of Generated User Interfaces

Apple-affiliated research on evaluating whether generated interfaces support realistic user journeys. FlowEval runs validated tasks on reference websites and generated analogs, compares their navigation traces with reference-based similarity metrics, and tests how well those scores align with expert UI judgments.

ui-evaluationinteraction-flowscomputer-use-agents
di Wu J. et al. · 2026-05
Leggi di più
📄Paper

Macaron-A2UI: A Model for Generative UI in Personal Agents

Paper arXiv 2026 focalizzato sulla Generative UI a runtime per personal agent. Gli autori sostengono che la sola chat diventa un collo di bottiglia nei task agentici complessi, introducono un corpus Generative UI su larga scala insieme ad A2UI-Bench e addestrano modelli che generano linguaggio naturale insieme ad azioni UI leggere ed eseguibili per conferma, raffinamento delle preferenze e coordinamento multi-obiettivo.

agentsa2uibenchmark
di Kong F. et al. · 2026-05
Leggi di più
📄Paper

Efficient Personalization of Generative User Interfaces

Paper arXiv recente su uno dei problemi GenUI centrali ancora aperti: la personalizzazione. Gli autori raccolgono giudizi pairwise da designer formati sulle stesse 600 UI generate, mostrano che le preferenze di design divergono in modo significativo e propongono un modello di preferenze sample-efficient che personalizza le interfacce generate meglio di valutatori baseline e prompting diretto.

personalizationgenuiarxiv
di Peng Y.-H. et al. · 2026-04
Leggi di più
📄Paper

MAIC-UI: Making Interactive Courseware with Generative UI

Paper arXiv recente che introduce un sistema GenUI zero-code per courseware educativo. MAIC-UI trasforma libri di testo, PPT e PDF in pagine di apprendimento interattive, usa una pipeline generate-verify-optimize per l'accuratezza pedagogica e supporta modifiche incrementali click-to-locate invece di costose rigenerazioni complete.

educationcoursewaregenui
di Tu S. et al. · 2026-04
Leggi di più
📄Paper

Generative UI as an Accessibility Bridge: Lessons from C2C E-Commerce

Paper arXiv / workshop CHI 2026 che sostiene come la Generative UI a runtime possa colmare gap di accessibilità nei contenuti marketplace generati dagli utenti. Basandosi su sei studi con utenti ciechi, ipovedenti e anziani, inquadra interfacce adattate, guida audio e HTML rigenerato come interventi di accessibilità guidati da policy, non come semplici varianti estetiche della UI.

accessibilityruntime-adaptationecommerce
di Bektur Ryskeldiev · 2026-04
Leggi di più
📄Paper

What does Generative UI mean for HCI Practice?

Paper workshop CHI EA 2026 di Microsoft Research e ricercatori HCI accademici su come le interfacce generate dall'AI possano rimodellare metodi di design, workflow ed esperienze utente. È utile perché inquadra GenUI come cambiamento a livello di pratica per ricercatori, designer, sviluppatori e product team, non solo come tecnica di output del modello.

chi-2026hci-practicedesign-workflows
di Lindley S. et al. · 2026-04
Leggi di più
📄Paper

Software as Content: Dynamic Applications as the Human-Agent Interaction Layer

Paper arXiv 2026 che sostiene che la sola chat sia un mezzo debole per lavoro human-agent strutturato e stateful. Gli autori propongono Software as Content, dove applicazioni agentiche generate dinamicamente diventano il layer di interazione primario, persistono tra i turni ed espongono controlli azionabili invece di forzare tutto nel testo lineare.

agentic-appsgenuistateful-ui
di Xie M. and Xie Y. · 2026-03
Leggi di più
📄Paper

The Keyhole Effect: Why Chat Interfaces Fail at Data Analysis

Paper arXiv 2026 che sostiene che la chat sia una superficie predefinita debole per lavoro di analisi multi-step e stateful. Offre una lettura di cognitive science dei punti in cui le conversazioni lineari cedono, poi posiziona Generative UI e altri pattern di interazione ibridi come modi pratici per recuperare visibilità, memoria spaziale e controllo utente.

genuihybrid-uianalysis
di Mohan Reddy · 2026-02
Leggi di più
📄Paper

Gradual Generation of User Interfaces as a Design Method for Malleable Software

Paper arXiv 2026 che propone "Gradually Generating User Interfaces", un metodo di design GenUI che inserisce layer intermedi di interfaccia durante la generazione, così gli utenti possono scoprire e controllare le opzioni di personalizzazione senza essere travolti da un enorme prompt box o da un menu denso.

malleable-softwaregenuihci
di Min B. et al. · 2026-01
Leggi di più
📄Paper

AlignUI: A Method for Designing LLM-Generated UIs Aligned with User Preferences

Paper arXiv 2026 sull'allineamento delle interfacce generate da LLM con task e preferenze degli utenti. Gli autori raccolgono 720 preferenze sui controlli UI da 50 utenti in task di image editing, usano quel dataset per guidare il reasoning del modello e valutano le UI generate con altri 72 utenti.

preference-alignmentllm-generated-uihci
di Liu Y. et al. · 2026-01
Leggi di più
📄Paper

Generative UI: LLMs are Effective UI Generators

Paper di Google Research che articola per primo in modo sistematico il concetto di Generative UI. Il paper definisce Generative UI come "AI models generating not just content, but the entire user experience". Gli esperimenti mostrano che, con prompt e strumenti corretti, gli LLM possono generare interfacce interattive custom di alta qualità, preferite in modo significativo dagli utenti umani (nel 44% dei casi comparabili a esperti umani). Il paper rilascia anche il dataset PAGEN per valutare le interfacce generate.

googlegenerative-uillm
di Leviathan et al. (Google) · 2025-11
Leggi di più
📄Paper

Improving User Interface Generation Models from Designer Feedback

Research paper on training LLM-based UI generators with feedback that matches professional design practice. The authors compare rankings, comments, sketches, and direct revisions from 21 designers, then use the resulting data to improve code models that generate rendered interfaces.

ui-generationdesigner-feedbackmodel-alignment
di Wu J. et al. · 2025-09
Leggi di più
📄Paper

Generative Interfaces for Language Models

Paper ACL 2026 Findings che propone un paradigma in cui gli LLM generano proattivamente interfacce specifiche per il task invece di rispondere solo con testo. Il lavoro combina rappresentazioni specifiche per interfaccia con raffinamento iterativo e riporta che i valutatori umani hanno preferito le interfacce generative a quelle conversazionali fino al 72% in più su task densi di informazioni ed esplorativi.

acl-2026evaluationgenui
di Chen J. et al. · 2025-08
Leggi di più
📄Paper

Towards a Working Definition of Designing Generative User Interfaces

Paper DIS 2025 che propone la prima definizione operativa di Generative UI (GenUI) attraverso revisione della letteratura e analisi di casi. La ricerca identifica GenUI come un nuovo paradigma di creazione delle interfacce in cui "humans and AI collaborate at design-time to generate interfaces, and users interact with AI-generated interfaces at runtime". Il paper sintetizza cinque caratteristiche chiave di GenUI: co-creazione, espansione dello spazio di design, fluidità rappresentazionale, adattamento contestuale e generation-first.

dis-2025genuidefinition
di Lee K.-H. · 2025-05
Leggi di più
📄Paper

Generative and Malleable User Interfaces with Generative AI

Paper CHI 2025 che propone di usare l'AI per generare "generative and malleable user interfaces" basate sui task degli utenti. Gli autori progettano un data model task-driven in cui gli LLM interpretano i prompt utente e generano specifiche UI, poi le mappano su interfacce concrete. Gli esperimenti dimostrano che il metodo può generare dinamicamente elementi di interfaccia come form e visualizzazioni, supportando gli utenti nella modifica delle interfacce tramite linguaggio naturale.

chi-2025malleable-uitask-driven
di Cao Y. et al. · 2025-03
Leggi di più
📄Paper

BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks

Paper VL/HCC 2024 di ricercatori Apple che introduce BISCUIT, un workflow JupyterLab che inserisce un layer UI effimero tra intento utente e codice generato da LLM. Invece di saltare direttamente dal prompt ai file sorgente, gli utenti interagiscono prima con controlli temporanei generati che li aiutano a capire le opzioni, raffinare le richieste ed esplorare variabili prima dell'emissione del codice.

notebooksephemeral-uiprogramming
di Cheng R. et al. · 2024-08
Leggi di più

Una raccolta curata di risorse Generative UI, GenUI e interfacce AI dinamiche.

Creato con ❤️ dalla community