목록으로
📄논문

Learning to Detect UI Principle Violations via Reinforcement Learning

Mehta N. et al.
2026-07

소개

생성된 웹 인터페이스를 평가하는 경량 비전 언어 모델을 다루는 2026년 7월 논문입니다. 저자들은 WCAG 2.2 접근성, 기만적 디자인, 인지적 사용성에 걸친 19개 원칙을 통합하고, 검증된 합성 위반 사례가 포함된 생성 페이지 약 10,000개로 모델을 학습합니다.

요약

이 논문이 새롭게 보여주는 점:

1. 정확성을 넘어선 품질: 코드가 실행되는지만 확인하지 않고 생성된 인터페이스의 사용성과 책임 있는 설계를 평가합니다
2. 폭넓은 디자인 범위: 접근성, 기만적 패턴, 지각, 인지, 상호작용 원칙을 결합합니다
3. 재현 가능한 데이터 파이프라인: 다양한 LLM 생성 Tailwind 페이지에 알려진 위반 사항을 삽입하고 검증합니다
4. 효율적인 평가 모델: 19개 원칙으로 구성된 벤치마크에서 4B 비전 언어 모델의 micro-F1을 36%에서 84%로 높입니다
5. 생성 루프에서의 활용: 더 나은 UI 생성기를 위한 감사 단계, 학습 데이터 필터, 보상 신호로 평가 모델을 활용하도록 제안합니다

태그

ui-evaluationaccessibilitydesign-qualityvision-language-modelreinforcement-learning

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다