목록으로
📄논문

AI Prototyper: A Figma Plugin for Decomposition-Based GUI Prototyping with LLMs

Salangsingha T. et al.
2026-07

소개

자연어로 작성한 화면 설명을 완전히 편집 가능한 프로토타입으로 변환하는 오픈소스 Figma 플러그인 AI Prototyper를 소개하는 2026년 7월 논문입니다. 파이프라인은 요청을 검토 가능한 기능으로 분해하고, 32가지 기본 요소로 구성된 고정 라이브러리에서 컴포넌트를 검색합니다. 이후 스키마 제약을 따르는 인스턴스를 생성하고 자동 레이아웃을 갖춘 네이티브 Figma 레이어로 렌더링합니다.

요약

AI Prototyper가 새롭게 보여주는 점:

1. 디자인 단계의 편집 가능한 생성: 평면 이미지나 일회성 코드 미리보기 대신 네이티브 Figma 레이어를 생성합니다
2. 사용자 검토 단계: 렌더링 전에 사용자가 분해된 기능을 검토·삭제·재정렬·확장할 수 있도록 합니다
3. 카탈로그에 근거한 컴포넌트 생성: 고정 컴포넌트 카탈로그를 대상으로 2단계 검색과 스키마 검증을 수행합니다
4. 다국어 워크플로: 태국어, 영어, 중국어 표준어로 레이블이 올바르게 표시되는 인터페이스를 시연하며, 말라얄람어도 추가로 테스트합니다
5. 예비 평가: 수동 Figma 작업보다 프로토타입 제작량과 전문가 평가가 높았다고 보고하면서도, 학생과 평가자 표본이 작다는 한계를 인정합니다

태그

figmadesign-timegui-prototypinghuman-in-the-looprag

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다