소개
생성한 참조 이미지를 활용하여 대시보드, 웹페이지, 슬라이드, 포스터용 편집 가능한 HTML/CSS 생성을 유도하는 2026년 10월 논문입니다. AesCode는 콘텐츠의 기준을 프롬프트에 두고 디자인을 그래프로 표현하며, 프로그램 기반 검증과 시각적 보상을 분리하여 학습합니다.
요약
AesCode가 새롭게 보여주는 점:
1. 오류를 그대로 복사하지 않는 시각적 안내: 생성 이미지에서 레이아웃과 스타일을 학습하되 텍스트와 데이터는 프롬프트에 근거하도록 합니다
2. 근거를 구분할 수 있는 보상: 디자인 그래프의 속성을 결정론적 검증기 또는 해당 그래프에 맞춘 시각적 질문으로 전달한 뒤, 보상 채널을 각각 정규화합니다
3. 분리된 평가: 300개 인포그래픽 프롬프트에서 각각 3번 생성하고 결과를 선별하지 않은 상태로 시각적 품질과 검증 가능한 정확성을 보고합니다
4. 연구 범위의 한계: 런타임 상호작용이 아닌 시각적 결과물을 평가합니다. 복잡한 관계와 SVG 아이콘은 여전히 어렵고, 참조 이미지에도 환각이 포함될 수 있습니다
[공식 프로젝트, 예제, 코드 및 모델 링크](https://microsoft.github.io/AesCode/).
1. 오류를 그대로 복사하지 않는 시각적 안내: 생성 이미지에서 레이아웃과 스타일을 학습하되 텍스트와 데이터는 프롬프트에 근거하도록 합니다
2. 근거를 구분할 수 있는 보상: 디자인 그래프의 속성을 결정론적 검증기 또는 해당 그래프에 맞춘 시각적 질문으로 전달한 뒤, 보상 채널을 각각 정규화합니다
3. 분리된 평가: 300개 인포그래픽 프롬프트에서 각각 3번 생성하고 결과를 선별하지 않은 상태로 시각적 품질과 검증 가능한 정확성을 보고합니다
4. 연구 범위의 한계: 런타임 상호작용이 아닌 시각적 결과물을 평가합니다. 복잡한 관계와 SVG 아이콘은 여전히 어렵고, 참조 이미지에도 환각이 포함될 수 있습니다
[공식 프로젝트, 예제, 코드 및 모델 링크](https://microsoft.github.io/AesCode/).
태그
ui-generationvisual-guidancedesign-graphsreinforcement-learningcode-verification