목록으로
📄논문

TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software

Liu Y. et al.
2026-06

소개

복잡한 창작 도구를 위해 작업 조건에 맞는 학습 지원 UI를 생성하는 LLM 기반 방법 TaskLens를 소개하는 DIS 2026 / arXiv 논문입니다. 시스템은 워크플로 단계와 도메인 개념을 식별하고 관련 도구를 선택한 뒤 구현 코드를 생성합니다. Blender 같은 소프트웨어 안에서 고급 기능을 점진적으로 드러내는 인터페이스를 제공합니다.

요약

TaskLens가 새롭게 보여주는 점:

1. 도메인별 GenUI: 일반적인 채팅 화면 대신 전문 창작 소프트웨어에 생성형 인터페이스를 적용합니다
2. 단계별 학습 지원 UI: 워크플로 단계와 개념에 따라 도구를 구성하여 초보자가 작업하면서 배울 수 있도록 합니다
3. 실행 가능한 생성 경로: LLM으로 도구를 선택하고 구현 코드를 생성하며 작업별 인터페이스를 렌더링합니다
4. 연구로 뒷받침된 근거: Blender 초보자 연구에서 작업 부담 감소와 작업 성과 향상을 보고합니다
5. 이 컬렉션에서의 의미: 단순한 응답 렌더링을 넘어, 제품 내부의 적응형 안내로 Generative UI를 활용하는 대표적인 사례입니다

태그

scaffolded-uicreative-softwaregenuilearning

관련 글

📄논문

ControlAnything: Generative UI and On-Demand Device Integration in Mixed Reality

November 2026 preprint generating both spatial controls and the connector code for physical devices when a Quest 3 wearer requests them. A coding agent tests connections over hand-written MIDI, Bluetooth, and key-press transports, then returns AR widgets, a per-frame hand program, or both.

generative-uimixed-realitydevice-integration
작성자 Bektur Ryskeldiev · 2026-11-05
자세히 보기
📄논문

Interface Quilt: Modifying Applications with Computer Use Agents and Generative UI

November 2026 preprint from Autodesk Research combining computer-use agents and GenUI to build persistent interface patches over existing applications. It recovers controls from rendered pixels, generates new interaction surfaces, and synchronizes them with the underlying app without requiring source code, APIs, or accessibility data.

generative-uicomputer-use-agentsinterface-patches
작성자 Qiu L. et al. · 2026-11-01
자세히 보기
📄논문

ABRA: Agent-Bound UI for Human-Agent Communication beyond Chat with Reusable Views

재사용 가능한 그래프·표·텍스트·표시 뷰와 작업별 상호작용 의미를 분리하는 2026년 10월 EMNLP 시스템 데모입니다. ABRA는 이러한 바인딩을 공유 캔버스 상태로 공개하여 사용자와 다른 에이전트가 작업별 동작을 확인하고 호출할 수 있게 합니다.

generative-uishared-canvasesinteraction-semantics
작성자 Kim S. G. and Kim H. · 2026-10-22
자세히 보기

Generative UI와 Intelligent UI 리소스를 엄선한 모음입니다.

정성을 담아 ❤️ 커뮤니티가 만들었습니다