소개
데이터베이스 도구 실행과 작업별 프론트엔드 생성을 결합하는 2026년 10월 논문입니다. GenUI-Harness는 샌드박스 환경의 상호작용 롤아웃과 보상 감사를 추가합니다. UI-TAU Bench는 10개 도메인에서 생성된 인터페이스가 에이전트의 입력 수집과 데이터베이스 기반 작업 완료에 도움이 되는지 평가합니다.
요약
GenUI-Harness가 새롭게 보여주는 점:
1. 데이터에 근거한 상호작용 루프: 검색·실행을, 요청을 명확히 하고 구조화된 입력을 수집하는 생성형 컨트롤과 분리합니다
2. 실행 가능한 평가: UI-TAU Bench는 300개 작업의 Lite와 1,000개 작업의 Full 분할을 제공하며, 보고된 주요 비교에는 Lite를 사용합니다
3. 학습과 상호작용에 관한 근거: 학습된 4B 모델은 58% Pass@3를 달성합니다. 선별된 100개 작업에 대한 평가자 연구에서는 대화 횟수가 3.4회에서 1.2회로 줄었습니다
4. 평가의 한계: 브라우저 사용자 시뮬레이터는 소스 코드와 참조 목표를 볼 수 있으며, 평가자 비교에서는 일관되게 사용할 수 있는 인터페이스를 선별합니다. 이 결과만으로 일반적인 사용성을 입증할 수는 없습니다
1. 데이터에 근거한 상호작용 루프: 검색·실행을, 요청을 명확히 하고 구조화된 입력을 수집하는 생성형 컨트롤과 분리합니다
2. 실행 가능한 평가: UI-TAU Bench는 300개 작업의 Lite와 1,000개 작업의 Full 분할을 제공하며, 보고된 주요 비교에는 Lite를 사용합니다
3. 학습과 상호작용에 관한 근거: 학습된 4B 모델은 58% Pass@3를 달성합니다. 선별된 100개 작업에 대한 평가자 연구에서는 대화 횟수가 3.4회에서 1.2회로 줄었습니다
4. 평가의 한계: 브라우저 사용자 시뮬레이터는 소스 코드와 참조 목표를 볼 수 있으며, 평가자 비교에서는 일관되게 사용할 수 있는 인터페이스를 선별합니다. 이 결과만으로 일반적인 사용성을 입증할 수는 없습니다
태그
generative-uidata-grounded-uiui-tau-benchreinforcement-learninginteractive-agents