Giới thiệu
Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.
Tóm tắt
Tạo cả giao diện điều khiển và mã kết nối:
1. Liên kết đầu ra rõ ràng: Các thành phần điều khiển được tạo gọi những hành động do chương trình kết nối thiết bị đang chạy khai báo
2. Tương tác cục bộ: Chương trình bàn tay chạy theo từng khung hình mà không gọi thêm mô hình; các bước kiểm tra khi chạy giới hạn đầu ra
3. Đo thời gian chuẩn bị: Trong một phiên do chính tác giả vận hành, chín trong mười yêu cầu đạt trạng thái sẵn sàng; thời gian trung vị là 32,5 giây, không tính chuyển giọng nói thành văn bản
4. Giới hạn nghiên cứu: Trạng thái sẵn sàng chỉ xác nhận kênh truyền đã nhận lệnh, chưa đo tác động vật lý; thử nghiệm dựa vào kiến thức thiết bị có sẵn và các kênh truyền đã chuẩn bị, còn chương trình kết nối trên máy tính không được cách ly bằng sandbox
[Mã nguồn, trình mô phỏng và bản ghi minh họa của tác giả](https://github.com/Apolotary/controlanything).
1. Liên kết đầu ra rõ ràng: Các thành phần điều khiển được tạo gọi những hành động do chương trình kết nối thiết bị đang chạy khai báo
2. Tương tác cục bộ: Chương trình bàn tay chạy theo từng khung hình mà không gọi thêm mô hình; các bước kiểm tra khi chạy giới hạn đầu ra
3. Đo thời gian chuẩn bị: Trong một phiên do chính tác giả vận hành, chín trong mười yêu cầu đạt trạng thái sẵn sàng; thời gian trung vị là 32,5 giây, không tính chuyển giọng nói thành văn bản
4. Giới hạn nghiên cứu: Trạng thái sẵn sàng chỉ xác nhận kênh truyền đã nhận lệnh, chưa đo tác động vật lý; thử nghiệm dựa vào kiến thức thiết bị có sẵn và các kênh truyền đã chuẩn bị, còn chương trình kết nối trên máy tính không được cách ly bằng sandbox
[Mã nguồn, trình mô phỏng và bản ghi minh họa của tác giả](https://github.com/Apolotary/controlanything).
Thẻ
generative-uimixed-realitydevice-integrationhand-trackingruntime-ui