简介
Runway 于 2026 年 8 月发布的研究介绍展示了 Interface World Model:根据点击、拖动和键盘输入逐帧生成界面。语言模型引导场景行为,经过蒸馏的视频模型负责呈现交互,探索生成代码或组件目录之外的运行时 GenUI。
内容总结
直接在像素中生成交互:
1. 以操作为条件渲染:已发生的用户输入影响后续帧,自然语言提示定义交互行为
2. 实时架构:结合自回归逐帧生成、少步蒸馏和基于模型自身输出的训练
3. 报告的评估:Runway 比较了截图重建,并让 250 名参与者对 30 个交互示例进行成对判断;这些是厂商报告的研究,不能证明通用任务可靠性
4. 研究限制:稳定文字、经核实的内容依据、长会话一致性、无障碍和软件集成仍待解决;页面提供的是提前体验申请
1. 以操作为条件渲染:已发生的用户输入影响后续帧,自然语言提示定义交互行为
2. 实时架构:结合自回归逐帧生成、少步蒸馏和基于模型自身输出的训练
3. 报告的评估:Runway 比较了截图重建,并让 250 名参与者对 30 个交互示例进行成对判断;这些是厂商报告的研究,不能证明通用任务可靠性
4. 研究限制:稳定文字、经核实的内容依据、长会话一致性、无障碍和软件集成仍待解决;页面提供的是提前体验申请
标签
generative-uiinterface-world-modelspixel-based-uireal-time-interactionruntime-ui