Quay lại danh sách
📄Nghiên cứu

Macaron-A2UI: A Model for Generative UI in Personal Agents

Kong F. et al.
2026-05

Giới thiệu

Bài báo arXiv mới năm 2026 tập trung vào Generative UI trong thời gian chạy cho AI agent cá nhân. Các tác giả lập luận rằng trò chuyện thuần văn bản trở thành điểm nghẽn với các tác vụ phức tạp của AI agent, giới thiệu một tập dữ liệu Generative UI quy mô lớn cùng A2UI-Bench và huấn luyện các mô hình tạo ngôn ngữ tự nhiên cùng những hành động UI gọn nhẹ có thể thực thi để xác nhận, tinh chỉnh sở thích và phối hợp nhiều mục tiêu.

Tóm tắt

Điểm khác biệt của bài báo này:

1. Cách đặt vấn đề phù hợp với AI agent: Xem Generative UI là lớp tương tác còn thiếu cho AI agent cá nhân
2. Bộ đánh giá mới: Giới thiệu A2UI-Bench để đánh giá có kiểm soát hành vi UI được tạo cho AI agent
3. UI hướng hành động: Tập trung vào các hành động UI có thể thực thi, bên cạnh việc tạo bố cục thị giác
4. Đóng góp về mô hình: Huấn luyện mô hình chuyên biệt bằng tinh chỉnh có giám sát và RL thay vì chỉ dùng các mốc so sánh dựa trên yêu cầu đầu vào
5. Thông tin hữu ích: Tài liệu tham chiếu có giá trị cho các nhóm xây dựng AI agent cần luồng thu thập đầu vào người dùng có cấu trúc, xác nhận và lập kế hoạch

Thẻ

agentsa2uibenchmarkgenui

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

generative-uishared-canvasesinteraction-semantics
bởi Kim S. G. and Kim H. · 2026-10-22
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng