简介
Autodesk Research 于 2026 年 11 月发布的预印本，将计算机操作智能体与 GenUI 结合，在现有应用之上构建持久的界面补丁。系统从渲染像素中识别控件，生成新的交互界面，并与底层应用同步，无需源代码、API 或无障碍数据。
内容总结
Interface Quilt 的新增价值：
1. 改造已有软件：在 PowerPoint、Affinity、Fusion、Slack 和 Overleaf 中演示任务控件、标记菜单等覆盖界面
2. 区分构建与运行：智能体探索应用并生成补丁；界面层、控制器与操作系统守护进程协调运行时输入及状态
3. 复用补丁逻辑：将交互行为与特定应用的绑定数据分离
4. 保留研究边界：仍是审稿中的演示型预印本；单次构建测试迭代可能耗时数十分钟，隐藏状态限制同步，部分输入路径会打断用户操作
1. 改造已有软件：在 PowerPoint、Affinity、Fusion、Slack 和 Overleaf 中演示任务控件、标记菜单等覆盖界面
2. 区分构建与运行：智能体探索应用并生成补丁；界面层、控制器与操作系统守护进程协调运行时输入及状态
3. 复用补丁逻辑：将交互行为与特定应用的绑定数据分离
4. 保留研究边界：仍是审稿中的演示型预印本；单次构建测试迭代可能耗时数十分钟，隐藏状态限制同步，部分输入路径会打断用户操作
标签
generative-uicomputer-use-agentsinterface-patchesmalleable-uiruntime-ui