Quay lại danh sách
📄Nghiên cứu

Spatula: Exploring On-Demand In-Situ Interfaces and Interaction for Attribute Control

Li B. et al.
2026-07

Giới thiệu

Bài báo HCI vào tháng 7 năm 2026 giới thiệu Spatula, một hệ thống dùng LLM để tạo các thành phần điều khiển có nhận biết ngữ cảnh ngay trên canvas đồ họa chuyển động. Không gian điều khiển thuộc tính linh hoạt của hệ thống hỗ trợ khám phá dần, nhiều mức độ chính xác, chỉnh sửa nhóm theo ngữ nghĩa và tạo thành phần điều khiển mới theo nhu cầu.

Tóm tắt

Điểm mới đáng chú ý của Spatula:

1. Thành phần điều khiển được tạo ngay tại chỗ: Đặt các widget theo ngữ cảnh và khả năng thao tác trực tiếp trên canvas sáng tạo thay vì trong một cuộc trò chuyện hay bảng bên riêng biệt
2. Không gian điều khiển linh hoạt: Tổ chức việc tạo giao diện xoay quanh khả năng khám phá, độ phân giải, phạm vi và khả năng mở rộng
3. Tinh chỉnh chi tiết: Kết nối yêu cầu ở cấp độ khái quát với việc chỉnh sửa nội dung được tạo ở cấp độ tham số theo cách có thể dự đoán
4. Thiết kế được nghiên cứu hỗ trợ: Báo cáo một nghiên cứu so sánh với 12 người tham gia trong bốn điều kiện tương tác
5. Khả năng áp dụng rộng hơn: Minh họa rằng cách tiếp cận cắm là chạy có thể mở rộng từ đồ họa chuyển động sang thiết kế web và dựng mô hình 3D

Thẻ

on-demand-uicreative-toolsdirect-manipulationuser-study

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

generative-uishared-canvasesinteraction-semantics
bởi Kim S. G. and Kim H. · 2026-10-22
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng