Quay lại danh sách
📄Nghiên cứu

Improving User Interface Generation Models from Designer Feedback

Wu J. et al.
2025-09

Giới thiệu

Bài báo nghiên cứu về việc huấn luyện các hệ thống tạo UI dựa trên LLM bằng phản hồi phù hợp với thực hành thiết kế chuyên nghiệp. Các tác giả so sánh thứ hạng, nhận xét, bản phác thảo và chỉnh sửa trực tiếp từ 21 nhà thiết kế, sau đó dùng dữ liệu thu được để cải thiện các mô hình sinh mã dùng để tạo giao diện được kết xuất.

Tóm tắt

Điểm mới đáng chú ý của bài báo này:

1. Phản hồi phù hợp với cách làm của nhà thiết kế: Kiểm thử việc nhận xét, phác thảo và chỉnh sửa trực tiếp thay vì chỉ dựa vào lượt thích hoặc xếp hạng theo cặp
2. Bộ dữ liệu đáng kể: Thu thập khoảng 1,500 chú giải từ 21 nhà thiết kế có kinh nghiệm từ 2 đến hơn 30 năm
3. Tương tác dựa trên sản phẩm cụ thể có ý nghĩa: Nhận thấy phản hồi bằng phác thảo và chỉnh sửa tạo tín hiệu huấn luyện mạnh hơn nhận xét hoặc xếp hạng
4. Bằng chứng ở cấp độ mô hình: Dùng phản hồi để huấn luyện mô hình phần thưởng và mô hình tạo mã UI, sau đó đánh giá kết quả đã kết xuất bằng người chấm điểm
5. Bài học GenUI thực tế: Cho thấy việc cải thiện giao diện được tạo phụ thuộc vào công cụ phản hồi phù hợp với cách nhà thiết kế thực sự nhận xét sản phẩm thị giác

Thẻ

ui-generationdesigner-feedbackmodel-alignmentuser-study

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

generative-uishared-canvasesinteraction-semantics
bởi Kim S. G. and Kim H. · 2026-10-22
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng