Quay lại danh sách
📄Nghiên cứu

AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards

Gao X. et al.
2026-10-13

Giới thiệu

Bài báo vào tháng 10 năm 2026 sử dụng ảnh tham chiếu được tạo ra để định hướng việc sinh HTML/CSS có thể chỉnh sửa cho bảng điều khiển, trang web, trang trình chiếu và áp phích. AesCode giữ yêu cầu đầu vào làm căn cứ quyết định nội dung, biểu diễn thiết kế dưới dạng đồ thị và huấn luyện với các phép kiểm tra bằng chương trình cùng phần thưởng thị giác riêng biệt.

Tóm tắt

Điểm mới đáng chú ý của AesCode:

1. Định hướng mà không sao chép lỗi: Học bố cục và phong cách từ ảnh được tạo ra, đồng thời lấy yêu cầu đầu vào làm căn cứ cho văn bản và dữ liệu
2. Phần thưởng có thể quy về nguồn cụ thể: Phân luồng các thuộc tính của đồ thị thiết kế tới bộ kiểm tra tất định hoặc các câu hỏi thị giác dành riêng cho đồ thị, rồi chuẩn hóa riêng từng kênh phần thưởng
3. Đánh giá riêng biệt: Báo cáo chất lượng thị giác và độ chính xác có thể kiểm chứng trên 300 yêu cầu tạo đồ họa thông tin, mỗi yêu cầu được sinh ba lần và không chọn lọc kết quả
4. Giới hạn nghiên cứu: Đánh giá sản phẩm thị giác thay vì tương tác khi ứng dụng đang chạy; các mối quan hệ phức tạp và biểu tượng SVG vẫn là thách thức, còn ảnh tham chiếu có thể chứa nội dung ảo giác

[Trang dự án chính thức, ví dụ, mã nguồn và liên kết mô hình](https://microsoft.github.io/AesCode/).

Thẻ

ui-generationvisual-guidancedesign-graphsreinforcement-learningcode-verification

Bài viết liên quan

📄Nghiên cứu

ControlAnything: Generative UI và kết nối thiết bị theo yêu cầu trong thực tế hỗn hợp

Bản preprint tháng 11 năm 2026 tạo cả thành phần điều khiển trong không gian lẫn mã kết nối thiết bị vật lý khi người đeo Quest 3 đưa ra yêu cầu. AI agent lập trình kiểm tra kết nối qua các kênh MIDI, Bluetooth và thao tác phím được viết sẵn, rồi trả về thành phần điều khiển AR, chương trình tương tác bàn tay chạy theo từng khung hình, hoặc cả hai.

generative-uimixed-realitydevice-integration
bởi Bektur Ryskeldiev · 2026-11-05
Đọc thêm
📄Nghiên cứu

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

Bản preprint vào tháng 11 năm 2026 của Autodesk Research kết hợp AI agent sử dụng máy tính với GenUI để tạo các bản vá giao diện tồn tại lâu dài trên ứng dụng hiện có. Hệ thống nhận diện lại các thành phần điều khiển từ pixel đã kết xuất, tạo các bề mặt tương tác mới và đồng bộ chúng với ứng dụng bên dưới mà không cần mã nguồn, API hay dữ liệu hỗ trợ tiếp cận.

generative-uicomputer-use-agentsinterface-patches
bởi Qiu L. et al. · 2026-11-01
Đọc thêm
📄Nghiên cứu

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

Bản trình diễn hệ thống tại EMNLP vào tháng 10 năm 2026, tách các chế độ xem đồ thị, bảng, văn bản và nội dung hiển thị có thể tái sử dụng khỏi ý nghĩa tương tác dành riêng cho từng tác vụ. ABRA công bố các liên kết này dưới dạng trạng thái canvas dùng chung để người dùng và các AI agent khác có thể kiểm tra và gọi những hành động dành riêng cho tác vụ.

generative-uishared-canvasesinteraction-semantics
bởi Kim S. G. and Kim H. · 2026-10-22
Đọc thêm

Tổng hợp tài nguyên chọn lọc về Generative UI và Intelligent UI.

Được xây dựng với ❤️ bởi cộng đồng