Quay lại danh sách
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Kim S. G. and Kim H.
2026-10-22

Giới thiệu

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

Tóm tắt

Điểm mới đáng chú ý của ABRA:

1. Bộ từ vựng tương tác có thể tái sử dụng: Điều chỉnh ý nghĩa của một hành động thông qua các liên kết tác vụ tường minh
2. Ngữ nghĩa dùng chung: Các AI agent khác có thể kiểm tra và gọi những hành động đã công bố; hiệu ứng cục bộ trên chế độ xem và hệ quả đối với AI agent sở hữu được xử lý theo các luồng riêng biệt
3. Bản triển khai tham chiếu: Các chế độ xem React, một trung tâm canvas Node.js và các bộ chuyển đổi Python hỗ trợ không gian làm việc chung giữa con người và AI agent
4. Giới hạn đánh giá: Bốn mô hình được kiểm thử trên các thao tác riêng lẻ trong một lượt; tỷ lệ chọn chính xác chế độ xem chỉ đạt 33–53%, trong khi mức độ hiểu của người dùng và lợi ích đối với tác vụ từ đầu đến cuối chưa được kiểm thử

[Nguyên mẫu chính thức, hướng dẫn thiết lập và bản trình diễn](https://github.com/megagonlabs/abra).

Thẻ

generative-uishared-canvasesinteraction-semanticsdirect-manipulationmulti-agent

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

Inflak: A Unified Orchestration Architecture for Human-Agent Interaction

Bài báo vào tháng 10 năm 2026 tách tương tác giữa con người và AI agent khi ứng dụng đang chạy thành các lớp định tuyến, lập kế hoạch, thiết kế và kết xuất. Inflak triển khai các lớp này dưới dạng kỹ năng của AI agent có thể kết hợp với nhau, để trạng thái tác vụ quyết định thời điểm yêu cầu đầu vào và giao diện được tạo nào sẽ xuất hiện.

generative-uiinteraction-orchestrationagent-skills
bởi Gao L. et al. · 2026-10-15
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng