Giới thiệu
Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.
Tóm tắt
Điểm mới đáng chú ý của Interface Quilt:
1. Bổ sung giao diện cho ứng dụng hiện có: Minh họa các thành phần điều khiển dành riêng cho tác vụ, menu chọn bằng cử chỉ và các lớp phủ khác trên PowerPoint, Affinity, Fusion, Slack và Overleaf
2. Tách biệt giai đoạn xây dựng và thời gian chạy: Các AI agent khám phá ứng dụng và tạo bản vá; một bề mặt tương tác, một bộ điều khiển và một tiến trình nền của hệ điều hành phối hợp xử lý đầu vào và trạng thái khi ứng dụng đang chạy
3. Logic có thể tái sử dụng: Tách hành vi của bản vá khỏi các liên kết dành riêng cho từng ứng dụng
4. Giới hạn nghiên cứu: Bản preprint đang trong quá trình bình duyệt, kèm các minh họa; mỗi vòng xây dựng và kiểm thử có thể mất hàng chục phút, trạng thái ẩn hạn chế khả năng đồng bộ và một số đường xử lý đầu vào làm gián đoạn người dùng
1. Bổ sung giao diện cho ứng dụng hiện có: Minh họa các thành phần điều khiển dành riêng cho tác vụ, menu chọn bằng cử chỉ và các lớp phủ khác trên PowerPoint, Affinity, Fusion, Slack và Overleaf
2. Tách biệt giai đoạn xây dựng và thời gian chạy: Các AI agent khám phá ứng dụng và tạo bản vá; một bề mặt tương tác, một bộ điều khiển và một tiến trình nền của hệ điều hành phối hợp xử lý đầu vào và trạng thái khi ứng dụng đang chạy
3. Logic có thể tái sử dụng: Tách hành vi của bản vá khỏi các liên kết dành riêng cho từng ứng dụng
4. Giới hạn nghiên cứu: Bản preprint đang trong quá trình bình duyệt, kèm các minh họa; mỗi vòng xây dựng và kiểm thử có thể mất hàng chục phút, trạng thái ẩn hạn chế khả năng đồng bộ và một số đường xử lý đầu vào làm gián đoạn người dùng
Thẻ
generative-uicomputer-use-agentsinterface-patchesmalleable-uiruntime-ui