返回列表
📄论文

ControlAnything:在混合现实中按需生成界面与设备连接代码

Bektur Ryskeldiev
2026-11-05

简介

2026 年 11 月的预印本,在 Quest 3 佩戴者提出请求后,同时生成空间控件和物理设备的连接代码。编程智能体通过预先编写的 MIDI、蓝牙和按键传输通道测试连接,再返回 AR 控件、逐帧执行的手部交互程序,或同时返回两者。

内容总结

同时生成控件与连接逻辑:

1. 显式绑定输出:生成的控件调用正在运行的设备连接程序所声明的操作
2. 本地实时交互:手部程序逐帧运行,无需继续调用模型;运行时检查约束其输出
3. 测量准备耗时:作者独自操作的一次实验中,十个请求有九个达到就绪状态,中位准备时间为 32.5 秒,不含语音转写
4. 保留研究边界:就绪仅表示传输通道确认接收,未测量实际物理效果;实验依赖已有设备知识和传输通道,笔记本上的连接程序也未沙箱隔离

[作者提供的代码、模拟器与录制演示](https://github.com/Apolotary/controlanything)。

标签

generative-uimixed-realitydevice-integrationhand-trackingruntime-ui

相关文章

Generative UI 与 Intelligent UI 精选资源合集。

用 ❤️ 由社区制作