Quay lại danh sách
📄Nghiên cứu

Generative and Malleable User Interfaces with Generative AI

Cao Y. et al.
2025-03

Giới thiệu

Bài báo CHI 2025 đề xuất sử dụng AI để tạo "giao diện người dùng tạo sinh và có thể điều chỉnh" dựa trên tác vụ của người dùng. Các tác giả thiết kế mô hình dữ liệu theo tác vụ, trong đó LLM phân tích câu lệnh của người dùng và tạo đặc tả UI, sau đó ánh xạ chúng thành giao diện cụ thể. Thử nghiệm cho thấy phương pháp này có thể tạo linh hoạt các thành phần giao diện như biểu mẫu và hình ảnh trực quan hóa, hỗ trợ người dùng sửa đổi giao diện bằng ngôn ngữ tự nhiên.

Tóm tắt

Cách tiếp cận tạo UI theo tác vụ:

1. Khái niệm cốt lõi: Giao diện "có thể điều chỉnh" mà người dùng có thể thay đổi cấu trúc bằng ngôn ngữ tự nhiên
2. Mô hình dữ liệu: Kiến trúc theo tác vụ, trong đó LLM diễn giải ý định người dùng và tạo đặc tả UI
3. Thành phần động: Hỗ trợ tạo biểu mẫu, hình ảnh trực quan hóa và thành phần tương tác
4. Sửa đổi bằng ngôn ngữ tự nhiên: Người dùng có thể tinh chỉnh giao diện qua nhiều vòng bằng lệnh hội thoại
5. Ánh xạ đặc tả: Đặc tả UI trừu tượng được ánh xạ thành các triển khai giao diện cụ thể

Đổi mới chính: Thu hẹp khoảng cách giữa ý định người dùng và việc hiện thực hóa giao diện thông qua câu lệnh lấy tác vụ làm trọng tâm

Thẻ

chi-2025malleable-uitask-drivenllm

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

generative-uishared-canvasesinteraction-semantics
bởi Kim S. G. and Kim H. · 2026-10-22
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng