返回列表
💡案例

Runway Solaris:逐帧生成界面与交互

Runway
2026-08-31

简介

Runway 于 2026 年 8 月发布的研究介绍展示了 Interface World Model:根据点击、拖动和键盘输入逐帧生成界面。语言模型引导场景行为,经过蒸馏的视频模型负责呈现交互,探索生成代码或组件目录之外的运行时 GenUI。

内容总结

直接在像素中生成交互:

1. 以操作为条件渲染:已发生的用户输入影响后续帧,自然语言提示定义交互行为
2. 实时架构:结合自回归逐帧生成、少步蒸馏和基于模型自身输出的训练
3. 报告的评估:Runway 比较了截图重建,并让 250 名参与者对 30 个交互示例进行成对判断;这些是厂商报告的研究,不能证明通用任务可靠性
4. 研究限制:稳定文字、经核实的内容依据、长会话一致性、无障碍和软件集成仍待解决;页面提供的是提前体验申请

标签

generative-uiinterface-world-modelspixel-based-uireal-time-interactionruntime-ui

相关文章

Generative UI 与 Intelligent UI 精选资源合集。

用 ❤️ 由社区制作