목록으로
📄논문

Improving User Interface Generation Models from Designer Feedback

Wu J. et al.
2025-09

소개

전문적인 디자인 실무에 맞는 피드백으로 LLM 기반 UI 생성기를 학습하는 연구 논문입니다. 저자들은 디자이너 21명의 순위 평가, 의견, 스케치, 직접 수정을 비교하고, 수집한 데이터로 실제 화면으로 렌더링되는 인터페이스를 생성하는 코드 모델을 개선합니다.

요약

이 논문이 새롭게 보여주는 점:

1. 디자이너의 작업 방식에 맞는 피드백: 좋아요 표시나 쌍대 순위 평가에만 의존하지 않고 의견 작성, 스케치, 직접 수정을 평가합니다
2. 충실한 데이터셋: 경력 2년부터 30년 이상까지의 디자이너 21명에게서 약 1,500개의 주석을 수집합니다
3. 구체적인 상호작용의 중요성: 스케치와 수정 피드백이 의견이나 순위 평가보다 더 강한 학습 신호를 제공한다는 점을 확인합니다
4. 모델 수준의 근거: 피드백으로 보상 모델과 UI 코드 생성 모델을 학습한 뒤, 사람이 렌더링 결과를 평가합니다
5. 실용적인 GenUI 시사점: 생성된 인터페이스를 개선하려면 디자이너가 실제로 시각적 작업물을 검토하는 방식에 맞는 피드백 도구가 필요함을 보여줍니다

태그

ui-generationdesigner-feedbackmodel-alignmentuser-study

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다